Допустимо ли анализировать данные обнаружения сигналов без использования метрик, полученных из теории обнаружения сигналов?

Эксперимент по обнаружению сигнала обычно представляет наблюдателю (или диагностической системе) либо сигнал, либо несигнал, и его просят сообщить, считают ли они представленный объект сигналом или не сигналом. Такие эксперименты дают данные, которые заполняют матрицу 2x2:

Теория обнаружения сигнала представляет такие данные как представление сценария, в котором решение "сигнал / не сигнал" основывается на континууме отсутствия сигнала, при котором испытания сигнала обычно имеют более высокое значение, чем испытания без сигнала, и наблюдатель просто выбирает значение критерия, выше которого они будут сообщать «сигнал»:

На приведенной выше диаграмме зеленое и красное распределения представляют распределения «сигнал» и «не сигнал», соответственно, а серая линия представляет выбранный критерий данного наблюдателя. Справа от серой линии область под зеленой кривой представляет попадания, а область под красной кривой представляет ложные тревоги; слева от серой линии область под зеленой кривой представляет пропуски, а область под красной кривой представляет правильные отклонения.

Как можно предположить, согласно этой модели, доля ответов, которые попадают в каждую ячейку таблицы 2x2, приведенной выше, определяется:

1. Относительная доля испытаний, отобранных из зеленого и красного распределений (базовая ставка)
2. Критерий, выбранный наблюдателем
3. Разделение между распределениями
4. Дисперсия каждого распределения
5. Любое отклонение от равенства дисперсии между распределениями (равенство дисперсии изображено выше)
6. Форма каждого распределения (оба гауссовы выше)

Часто влияние № 5 и № 6 можно оценить только путем того, чтобы наблюдатель принимал решения по ряду различных критериальных уровней, поэтому мы пока проигнорируем это. Кроме того, № 3 и № 4 имеют смысл только по отношению друг к другу (например, насколько велико разделение относительно изменчивости распределений?), Суммируемое с помощью меры «различимости» (также известной как d '). Таким образом, теория обнаружения сигнала запрещает оценку двух свойств из данных обнаружения сигнала: критерий и различимость.

Тем не менее, я часто замечал, что в исследовательских отчетах (особенно в области медицины) не применяется структура обнаружения сигналов, и вместо этого делается попытка проанализировать такие величины, как «положительное прогностическое значение», «отрицательное прогностическое значение», «чувствительность» и «специфичность». ", все из которых представляют различные предельные значения из таблицы 2x2 выше ( подробности см. здесь ).

Какую полезность предоставляют эти предельные свойства? Я склонен полностью игнорировать их, потому что они смешивают теоретически независимые влияния критериев и различимости, но, возможно, мне просто не хватает воображения, чтобы рассмотреть их преимущества.

Положительное прогнозирующее влияние (PPV) не является хорошей мерой, не только потому, что оно смешивает оба механизма (различимость и смещение ответа), но также и из-за базовых показателей. Предпочтительно использовать апостериорные вероятности, такие как P (сигнал | «да»), которые учитывают базовые показатели предмета:

$P(signal|yes) = \frac{P(signal)P(Hit)}{P(signal)P(Hit)+P(noise)P(False Alarm)}$

но ... для чего это хорошо ?? ну, это полезно для корректировки критериев ответа, чтобы максимизировать / минимизировать вероятность конкретного результата. Таким образом, он дополняет показатели чувствительности и смещения ответа в том смысле, что помогает обобщить результаты изменений смещения ответа.

Совет: если вы придерживаетесь матрицы результатов 2x2, которая, в основном, позволяет получить только показатель чувствительности, такой как d ', даже не беспокойтесь о SDT и просто используйте Hits-False Alarms. Обе меры (d 'и (HF)) имеют корреляцию 0,96 (независимо от того, что теоретики обнаружения БС могут придумать)

надеюсь, что это помогает ура

Вы сравниваете "Какова вероятность того, что положительный результат теста является правильным, учитывая известную распространенность и критерий теста?" с "Какова чувствительность и смещение неизвестной системы к различным сигналам этого типа?"

Мне кажется, что оба используют некоторую похожую теорию, но у них действительно разные цели. С медицинскими тестами критерий не имеет значения. Во многих случаях его можно установить на известное значение. Таким образом, определение критерия теста впоследствии бессмысленно. Теория обнаружения сигнала лучше всего подходит для систем, где критерий неизвестен. Кроме того, распространенность, или сигнал, имеет тенденцию быть фиксированной (и часто очень маленькой) величиной. С SDT вы часто определяете среднее значение переменных сигналов, моделируя очень сложную ситуацию в виде нескольких простых дескрипторов. Когда и критерий, и сигнал фиксированы, известны величины, может ли SDT сказать вам что-нибудь интересное? Кажется, что с большой математической сложностью приходится иметь дело с принципиально более простой проблемой.

Это может быть чрезмерным упрощением, но специфичность и чувствительность являются показателями производительности и используются, когда нет объективных знаний о природе сигнала. Я имею в виду, что ваш график зависимости плотности от сигнала предполагает одну переменную, которая количественно определяет сигнальность. Для данных с очень большими или бесконечномерными данными и без строгой доказуемой теории механизма генерации сигнала выбор переменной нетривиален. Возникает вопрос: почему после выбора такой переменной ее статистические свойства, такие как среднее значение и дисперсия для сигнала и несигнала, не определены количественно. Во многих случаях переменная может быть не просто нормальной, пуассоновской или экспоненциально распределенной. Это может даже быть непараметрическим, в этом случае количественное определение разделения как среднее различие по дисперсии и т. Д., не имеет особого смысла. Кроме того, много литературы в области биомедицины сфокусировано на приложениях, и ROC, специфичность, чувствительность и т. Д. Могут быть использованы в качестве объективных критериев для сравнения подходов с точки зрения ограниченного характера проблемы, и в основном это все, что требуется для. Иногда люди могут быть не заинтересованы в описании, скажем, фактической дискретной версии log-гамма-распределения отношения количества генов1 к гену2 транскрипта у больных и контрольных субъектов, а единственное, что важно, это то, насколько это повышено и насколько сильно отличается фенотип или вероятность заболевания это объясняет. может использоваться в качестве объективных критериев для сравнения подходов с точки зрения ограниченного характера проблемы, и в основном это все, что требуется. Иногда люди могут быть не заинтересованы в описании, скажем, фактической дискретной версии log-гамма-распределения отношения количества генов1 к гену2 транскрипта у больных и контрольных субъектов, а единственное, что важно, это то, насколько это повышено и насколько сильно отличается фенотип или вероятность заболевания это объясняет. может использоваться в качестве объективных критериев для сравнения подходов с точки зрения ограниченного характера проблемы, и в основном это все, что требуется. Иногда люди могут быть не заинтересованы в описании, скажем, фактической дискретной версии log-гамма-распределения отношения количества генов1 к гену2 транскрипта у больных и контрольных субъектов, а единственное, что важно, это то, насколько это повышено и насколько сильно отличается фенотип или вероятность заболевания это объясняет.