Эндрю Гельман (Andrew Gelman) написал обширную статью о том, почему байесовское тестирование AB не требует множественной коррекции гипотез: почему мы (обычно) не должны беспокоиться о множественных сравнениях , 2012.
Я не совсем понимаю: почему байесовские методы не требуют множественных исправлений тестирования?
A ~ Distribution1 + Common Distribution
B ~ Distribution2 + Common Distribution
C ~ Distribution3 + Common Distribution
Common Distribution ~ Normal
Насколько я понимаю, байесовский подход, показанный выше, учитывает общее базовое распределение по всей гипотезе (в отличие от частой коррекции Бонферрони). Правильно ли мои рассуждения?
hypothesis-testing
bayesian
multiple-comparisons
амеба говорит восстановить монику
источник
источник
Ответы:
Один из странных способов ответить на этот вопрос состоит в том, чтобы отметить, что байесовский метод не дает никакого способа сделать это, потому что байесовские методы согласуются с принятыми правилами доказывания, а часто используемые методы часто расходятся с ними. Примеры:
Проблема связана с частым обращением потока времени и информации, заставляющим часто думать о том, что могло произойти, а не о том, что произошло . Напротив, байесовские оценки привязывают всю оценку к предшествующему распределению, которое калибрует доказательства. Например, предварительное распределение для разницы AB калибрует все будущие оценки AB и не должно учитывать CD.
При последовательном тестировании возникает большая путаница в отношении того, как корректировать точечные оценки, когда эксперимент прекращается на ранней стадии с использованием частых выводов. В байесовском мире предыдущий «оттягивает» любые точечные оценки, а обновленное апостериорное распределение применяется к выводу в любое время и не требует сложных пространственных соображений для выборки.
источник
Этот тип иерархической модели действительно сокращает оценки и уменьшает количество ложных утверждений в разумных пределах для небольшого или среднего числа гипотез. Гарантирует ли это какой-то определенный уровень ошибок типа I? Нет.
Это конкретное предложение Гельмана (который признает проблему, рассматривая слишком много разных вещей и затем слишком легко ошибочно заключая, что вы видите что-то для некоторых из них - фактически одну из его любимых тем в своем блоге), отличается от крайней альтернативы точка зрения, которая гласит, что байесовские методы не должны учитывать множественность, потому что все, что имеет значение, это ваша вероятность (и ваш предыдущий).
источник
Очень интересный вопрос, вот мое мнение.
Все дело в кодировании информации, затем включите байесовский кривошип. Это кажется слишком хорошим, чтобы быть правдой - но оба они сложнее, чем кажутся.
Я начинаю с того, чтобы задать вопрос
Какая информация используется, когда мы беспокоимся о множественных сравнениях?
Я могу подумать о некоторых - во-первых, это «выемка данных» - тестируйте «все», пока не получите достаточное количество пропусков / неудач (я думаю, что почти каждый обученный специалист по статистике столкнется с этой проблемой). У вас также есть менее зловещий, но по сути тот же «у меня так много тестов для запуска - конечно, все не может быть правильно».
Подумав об этом, я замечаю одну вещь: вы не склонны много слышать о конкретной гипотезе или конкретных сравнениях. Все дело в «сборе» - это заставляет меня задуматься о взаимозаменяемости - сравниваемые гипотезы в некотором роде «похожи» друг на друга. И как вы кодируете взаимозаменяемость в байесовский анализ? - гиперприоры, смешанные модели, случайные эффекты и т. д. !!!
Но взаимозаменяемость только дает вам часть пути туда. Все ли можно обменять? Или у вас есть "разреженность" - например, только несколько ненулевых коэффициентов регрессии с большим количеством кандидатов. Смешанные модели и нормально распределенные случайные эффекты здесь не работают. Они «застревают» между шумом подавления и оставлением сигналов нетронутыми (например, в вашем примере оставьте равными «истинные» параметры locationB и locationC, и установите параметр locationA «true» произвольно большим или маленьким, и наблюдайте, как стандартная линейная смешанная модель дает сбой.) , Но это может быть исправлено - например, с помощью приоров «шип и плита» или «подковы».
Так что на самом деле речь идет о том, чтобы описать, о какой гипотезе вы говорите, и о том, как много известных особенностей отразилось в предыдущих и вероятных. Подход Эндрю Гельмана - это просто способ неявного управления широким классом множественных сравнений. Точно так же как наименьшие квадраты и нормальные распределения имеют тенденцию работать хорошо в большинстве случаев (но не во всех).
С точки зрения того, как это происходит, вы можете думать о человеке, который рассуждает следующим образом - группа A и группа B могут иметь одинаковое среднее значение - я посмотрел на данные, а средства «близки» - следовательно, чтобы получить лучшую оценку для обоих я должен объединить данные, так как изначально я думал, что они имеют одинаковое среднее значение. - Если они не совпадают, данные свидетельствуют о том, что они «близки», поэтому объединение «немного» не причинит мне большого вреда, если моя гипотеза окажется неверной (а-ля, все модели ошибочны, некоторые полезны)
Обратите внимание, что все вышеперечисленное зависит от первоначальной предпосылки «они могут быть одинаковыми». Уберите это, и нет никаких оснований для объединения. Вы также можете увидеть «нормальное распределение» мышления о тестах. «Вероятнее всего, ноль», «если не ноль, то близким к нулю является следующий наиболее вероятный», «экстремальные значения маловероятны». Рассмотрим эту альтернативу:
Тогда аргумент о объединении "немного" - очень плохая идея. Вам лучше выбрать общий или нулевой пул. Гораздо больше похоже на Коши, шип и сляб, тип ситуации (много массы около нуля и много массы для экстремальных значений)
Целые множественные сравнения не должны рассматриваться, потому что байесовский подход включает в себя информацию, которая заставляет нас беспокоиться о предыдущих и / или вероятности . В некотором смысле это больше напоминание, чтобы правильно подумать о том, какая информация доступна для вас, и убедиться, что вы включили ее в свой анализ.
источник
Во-первых, насколько я понимаю модель, которую вы представили, я думаю, что она немного отличается от предложения Гельмана, что больше похоже на:
На практике, добавляя этот
commonLocationпараметр, выводы над параметрами 3 распределений (в данном случае местоположения 1, 2 и 3) больше не зависят друг от друга. Более того,commonLocationимеет тенденцию к уменьшению ожидаемых значений параметров в сторону центрального (обычно оценочного) значения. В определенном смысле это работает как регуляризация по всем выводам, что делает необходимость исправления для множественной коррекции ненужной (так как на практике мы выполняем одну единственную многомерную оценку, основанную на взаимодействии между каждым из них посредством использования модели).Как указано в другом ответе, эта поправка не предлагает какого-либо контроля над ошибкой типа I, но в большинстве случаев байесовский метод не предлагает никакого такого контроля даже при единой шкале логических выводов, и поправка для множественного сравнения должна рассматриваться по-другому в байесовском методе. установка.
источник