Какая статистика используется для определения наличия сигнала в шуме?

12

Я считаю, что это проблема детектора:

Меня сбивает с толку то, что кажется простой проблемой. В основном, у меня есть группа интересов. Если в этой зоне интереса существуют энергии сигналов, то я выполняю операцию X с моим сигналом.

Моя проблема в том, что я не уверен, как именно решить, существует ли сигнал или нет. В этом после выполнения БПФ я могу искать пики.

Но что теперь?

  • Используется ли обычно используемая статистика для сравнения этого пика с окружающим средним значением спектра? Или это какая-то другая статистика?
  • Какую статистическую меру я использую, чтобы просто определить, присутствует ли сигнал, и перейти оттуда?
  • Как мне установить это значение? Простой порог?

РЕДАКТИРОВАТЬ на основе обратной связи:

В этом простом случае я предполагаю тон с белым гауссовым шумом. То, что я пытаюсь понять:

  1. Как именно генерируется кривая ROC . Нужно ли сначала пометить все данные, а затем получить истинно положительные и ложноположительные показатели для множества порогов?

  2. Как уменьшение SNR влияет на кривую ROC? Переместить его по диагонали?

  3. Что делает адаптивное владение для данной кривой ROC, которая была сгенерирована без адаптивного порога?

    3a. Какие общие адаптивные пороговые методы, на которые я могу посмотреть, являются общими?

ошалевший
источник
Вам нужен пакетный (автономный) алгоритм или последовательный (онлайн) алгоритм? Есть ли у вас статистика шума и сигналов (то есть, вы можете охарактеризовать отношение правдоподобия)? Если да, пробовали ли вы использовать SPRT ?
Эмре
@ Emre Это может быть в автономном режиме. Я не совсем уверен, что вы подразумеваете под статистикой сигнал / шум, у меня есть датчик, который будет измерять сигнал (тон) при наличии шума, и его SNR может варьироваться ...
Spacey
Он имеет в виду: каковы статистические свойства шума и сигнала? Вы знаете распределение шума? Как насчет распределения сигнала плюс шум?
Джейсон Р
@JasonR Понятно. Ну, сигнал будет тональным, а шум - гауссовским. Я что-то упускаю?
Spacey
Может быть. Белый гаусс? Дело в том, что для теоретического анализа необходимо принять некоторую вероятностную модель для шума и сигнала плюс шум. Основываясь на этом ответе, вы можете сделать это.
Джейсон Р

Ответы:

9

Это одна из самых старых проблем обработки сигналов, и, скорее всего, ее можно встретить во введении в теорию обнаружения. Существуют теоретические и практические подходы к решению такой проблемы, которые могут или не могут перекрываться в зависимости от конкретного применения.

Pd Pfa

PdPfaPd=1Pfa=0и назовите это днем. Как и следовало ожидать, это не так просто. Между этими двумя метриками существует компромисс; обычно, если вы делаете что-то, что улучшает одно, вы наблюдаете некоторую деградацию в другом.

Простой пример: если вы ищете наличие импульса на фоне шума, вы можете решить установить порог где-то выше «типичного» уровня шума и решить указать наличие интересующего сигнала, если ваша статистика обнаружения нарушится выше порога. Хотите действительно низкую вероятность ложной тревоги? Установите высокий порог. Но тогда вероятность обнаружения может значительно уменьшиться, если повышенный порог будет на уровне или выше ожидаемого уровня мощности сигнала!

PdPfa

введите описание изображения здесь

Идеальный детектор должен иметь кривую ROC, которая охватывает верхнюю часть графика; то есть он может обеспечить гарантированное обнаружение любой частоты ложных тревог. В действительности, детектор будет иметь характеристику, похожую на приведенную выше; увеличение вероятности обнаружения также увеличит частоту ложных тревог, и наоборот.

Следовательно, с теоретической точки зрения, эти типы проблем сводятся к выбору некоторого баланса между эффективностью обнаружения и вероятностью ложной тревоги. То, как этот баланс описывается математически, зависит от вашей статистической модели для случайного процесса, который наблюдает детектор. Модель обычно имеет два состояния или гипотезы:

H0:no signal is present
H1:signal is present

Как правило, статистика, которую наблюдает детектор, будет иметь одно из двух распределений, согласно которым гипотеза верна. Затем детектор применяет своего рода тест, который используется для определения истинной гипотезы и, следовательно, наличия сигнала или его отсутствия. Распределение статистики обнаружения является функцией модели сигнала, которую вы выбираете в соответствии с вашим приложением.

Обычные модели сигналов - это обнаружение амплитудно-импульсного сигнала на фоне аддитивного белого гауссовского шума (AWGN) . Хотя это описание несколько специфично для цифровой связи, многие проблемы могут быть сопоставлены с той или иной моделью. В частности, если вы ищете постоянный во времени тон, локализованный во времени на фоне AWGN, и детектор отслеживает величину сигнала, эта статистика будет иметь распределение Рэлея, если нет тона, и распределение Рика, если оно присутствует.

После того, как статистическая модель была разработана, должно быть определено правило решения детектора. Это может быть настолько сложным, насколько вы пожелаете, в зависимости от того, что имеет смысл для вашего приложения. В идеале вы хотели бы принять решение, которое является в некотором смысле оптимальным, основываясь на ваших знаниях о распределении статистики обнаружения по обеим гипотезам, вероятности того, что каждая гипотеза верна, и относительной стоимости неправильности в отношении любой гипотезы ( о чем я расскажу чуть позже). Байесовская теория принятия решений может быть использована в качестве основы для подхода к этому аспекту проблемы с теоретической точки зрения.

TT(t)t

TT=5Pd=0.9999Pfa=0.01

То, где вы в конечном итоге решите сесть на кривую производительности, зависит от вас и является важным параметром проектирования. Правильный выбор производительности зависит от относительной стоимости двух типов возможных отказов: хуже ли для вашего детектора пропускать сигнал, когда он происходит, или регистрировать появление сигнала, когда он не произошел? Пример: фиктивный детектор баллистических ракет с возможностью автоматического обратного удара лучше всего использовать для обеспечения очень ложной частоты тревоги; начать мировую войну из-за ложного обнаружения было бы неудачно. Примером обратной ситуации может служить приемник связи, используемый для приложений обеспечения безопасности жизни; если вы хотите иметь максимальную уверенность в том, что он не сможет получать сообщения о бедствии,

Джейсон Р
источник
Спасибо JasonR, очень хороший пост. Я все еще перевариваю твой пост, но один вопрос приходит на ум. Как именно генерируется эта ROC-кривая? Я понимаю, что я измеряю истинно положительные и ложноположительные показатели для любого классификатора, и это отмечает одну точку на кривой ROC. Так что же меняется, так что я получаю много очков, чтобы я мог сгенерировать кривую для любого одного классификатора?
Spacey
1
PdPfa
1

Статистика - это отношение правдоподобия (LR), а тест - сравнение LR с порогом. Если вы будете следовать традициям размещения вероятности нулевой гипотезы в знаменателе, вы решили в пользу альтернативной гипотезы ( против с нулевой гипотезой ) , если LR достаточно высок. Чем выше соотношение, тем выше ваша уверенность. Это тест, который вы должны выполнить, если вы уже собрали данные. Если вы хотите принять решение, когда данные поступают по частям, вы можете использовать последовательный тест , такой как SPRT .

На этом этапе вы можете воспользоваться книгой по проверке гипотез или теории принятия решений (более общей).

Эмре
источник