Как процедуры FDR оценивают уровень ложного обнаружения без модели базовых ставок?

Может ли кто-нибудь объяснить, как процедуры FDR способны оценивать FDR без модели / предположения о базовой ставке истинных положительных результатов?

Я думаю, что это действительно хороший вопрос; слишком много людей используют процедуру Бенджамини-Хохберга (сокращенно BH; возможно, самую популярную процедуру контроля FDR) в качестве черного ящика. Действительно, в статистике есть основополагающее предположение, и оно прекрасно скрыто в определении значений p!

Для хорошо определенного p-значения считается, что равномерно распределен ( ) при нулевой гипотезе. Иногда может даже случиться, что , т. Е. Что стохастически меньше равномерного, но это только делает процедуры более консервативными (и, следовательно, все еще действительными). Таким образом, вычисляя ваши p-значения, используя t-тест или любой другой тест по вашему выбору, вы предоставляете информацию о распределении в соответствии с нулевой гипотезой.$P$$P$$P\sim U[0,1]$$\Pr[P\leq t] \leq t$$P$

Но обратите внимание, что я продолжал говорить о нулевой гипотезе; поэтому то, что вы упомянули о знании базового уровня ложных срабатываний, не требуется, вам нужно только знание базового показателя ложных срабатываний! Почему это?

Пусть обозначает число всех отклоненных (положительных) гипотез, а - ложных срабатываний, тогда:$R$$V$

Таким образом, чтобы оценить FDR, вам нужен способ оценки , . Теперь мы рассмотрим правила принятия решений, которые отклоняют все p-значения . Чтобы пояснить это в обозначениях, я также напишу для соответствующих величин / случайных величин такой процедуры.$\mathbb E[R]$$\mathbb E[V]$$\leq t$$FDR(t),R(t),V(t)$

Поскольку является всего лишь ожиданием общего количества отклонений, вы можете непредвзято оценить его по количеству отклонений, которое вы наблюдаете, поэтому То есть просто посчитав, сколько ваших p-значений .$\mathbb E[R(t)]$$\mathbb E[R(t)] \approx R(t)$$\leq t$

А как насчет ? Предположим, что из ваших общих гипотез являются нулевыми гипотезами, а затем по единообразию (или суб-однородности) p-значений под нулевым значением вы получите:$\mathbb E[V]$$m_0$$m$

Но мы все еще не знаем , но мы знаем, что , поэтому консервативная верхняя граница будет просто . Поэтому, поскольку нам просто нужна верхняя граница числа ложных срабатываний, достаточно знать их распределение! И это именно то, что делает процедура BH.$m_0$$m_0 \leq m$$\mathbb E[V(t)] \leq m t$

Таким образом, хотя комментарий Ааронга Зенга о том, что «процедура ЧД является способом управления FDR на заданном уровне q. Речь не идет об оценке FDR», не является ложным, он также сильно вводит в заблуждение! Процедура ВН фактически делает оценить ФДС для каждого заданного порогового . И тогда он выбирает самый большой порог, такой, что предполагаемый FDR ниже . Действительно, «скорректированное значение p» гипотезы по сути, является просто оценкой FDR на пороге (вплоть до изотонизации). Я думаю, что стандартный алгоритм BH немного скрывает этот факт, но легко показать эквивалентность этих двух подходов (также называемых «теоремой эквивалентности» в литературе по множественному тестированию).$t$$\alpha$$i$$t=p_i$

Как последнее замечание, существуют методы, такие как процедура Стори, которые даже оценивают по данным; это может немного увеличить мощность. Также в принципе вы правы, можно также смоделировать распределение по альтернативе (ваш истинный положительный базовый показатель), чтобы получить более мощные процедуры; но до сих пор исследования множественного тестирования в основном были направлены на поддержание контроля над ошибкой I типа, а не на максимальное увеличение мощности. Одна трудность также может заключаться в том, что во многих случаях каждая из ваших истинных альтернатив будет иметь разное альтернативное распределение (например, разную мощность для разных гипотез), тогда как при нулевом значении все p-значения имеют одинаковое распределение. Это делает моделирование истинного положительного показателя еще более сложным.$m_0$

Как предполагает @air, процедура Бенджамини-Хохберга (BH) гарантирует контроль FDR. Это не имеет целью оценить это. Таким образом, требуется простое предположение о слабой зависимости между статистикой теста. [1,2]

Методы, нацеленные на оценку FDR [например, 3,4,5], требуют некоторых допущений в отношении генеративного процесса для его оценки. Как правило, они предполагают, что статистика испытаний независима. Они также будут предполагать что-то о нулевом распределении тестовой статистики. Таким образом, отклонения от этого нулевого распределения вместе с предположением о независимости можно отнести к эффектам, и можно оценить FDR.

Обратите внимание, что эти идеи вновь появляются в литературе по обнаружению новизны под надзором. [6].

[1] Бенджамини, Y. и Й. Хохберг. «Контроль частоты ложных открытий: практический и эффективный подход к многократному тестированию». ЖУРНАЛЬНО-КОРОЛЕВСКОЕ СТАТИСТИЧЕСКОЕ ОБЩЕСТВО СЕРИИ B 57 (1995): 289–289.

[2] Бенджамини Ю. и Д. Екутиели. «Контроль частоты ложных открытий при многократном тестировании в зависимости». ЖИВОТНЫЕ СТАТИСТИКИ 29, нет. 4 (2001): 1165–88.

[3] Стори, JD «Прямой подход к ставкам ложных открытий». Журнал Королевского статистического общества Серия B 64, № 3 (2002): 479–98. DOI: 10.1111 / 1467-9868.00346.

[4] Эфрон Б. «Микрочипы, эмпирические байесовские модели и модель двух групп». Статистическая наука 23, нет. 1 (2008): 1–22.

[5] Джин, Джиашун и Т. Тони Кай. «Оценка нулевого и доли ненулевых эффектов в крупномасштабных многократных сравнениях». Журнал Американской статистической ассоциации 102, нет. 478 (1 июня 2007 г.): 495–506. DOI: 10.1198 / 016214507000000167.

[6] Клезен, Марк, Джесси Дэвис, Фрэнк Де Смет и Барт Де Мур. «Оценка двоичных классификаторов с использованием только положительных и немаркированных данных». arXiv: 1504.06837 [cs, Stat], 26 апреля 2015 г. http://arxiv.org/abs/1504.06837 .

Когда истинная базовая модель неизвестна, мы не можем вычислить FDR, но можем оценить значение FDR с помощью теста перестановки . В основном, процедура проверки перестановки просто выполняет проверку гипотезы несколько раз, изменяя вектор переменной результата с его перестановками. Это также может быть сделано на основе перестановок образцов, но не так часто, как предыдущий.

В данном документе рассматривается стандартная процедура перестановки для оценки FDR, а также предлагается новый оценщик FDR. Он должен быть в состоянии ответить на ваш вопрос.