Список ситуаций, в которых байесовский подход проще, практичнее или удобнее

63

В статистике было много споров между байесовцами и частыми лицами. Я обычно нахожу это довольно отталкивающим (хотя я думаю, что это утихло). С другой стороны, я встречал несколько человек, которые придерживаются совершенно прагматичного взгляда на проблему, говоря, что иногда удобнее проводить анализ часто, а иногда проще проводить байесовский анализ. Я считаю эту перспективу практичной и освежающей.

Мне приходит в голову, что было бы полезно иметь список таких случаев. Потому что существует слишком много статистических анализов, и потому что я предполагаю, что обычно более практично проводить анализ часто встречающихся (кодирование t-критерия в WinBUGS значительно сложнее, чем отдельный вызов функции, требуемый для выполнения основанной на частоте версии в R Например, было бы неплохо иметь список ситуаций, в которых байесовский подход проще, практичнее и / или более удобен, чем подход на основе частоты.


(Два ответа, которые меня не интересуют: «всегда» и «никогда». Я понимаю, что у людей сильные мнения, но, пожалуйста, не транслируйте их здесь. Если эта тема станет местом для мелкой ссоры, я, вероятно, удалю Это моя цель - разработать ресурс, который будет полезен для аналитика, у которого есть работа, а не топор.

Люди могут предложить более одного случая, но, пожалуйста, используйте для этого отдельные ответы, чтобы каждую ситуацию можно было оценить (проголосовать / обсудить) индивидуально. Ответы должны перечислить: (1) какова природа ситуации, и (2) почему байесовский подход проще в этом случае. Некоторый код (скажем, в WinBUGS), демонстрирующий, как будет проводиться анализ и почему байесовская версия является более практичной, был бы идеальным, но я ожидаю, что он будет слишком громоздким. Если это можно сделать легко, я был бы признателен, но, пожалуйста, укажите, почему так или иначе.

Наконец, я признаю, что я не определил, что означает, что один подход «проще», чем другой. Правда в том, что я не совсем уверен, что должно означать, что один подход будет более практичным, чем другой. Я открыт для разных предложений, просто укажите свою интерпретацию, когда объясните, почему байесовский анализ более удобен в обсуждаемой ситуации.

gung - Восстановить Монику
источник
7
Многоуровневое моделирование определенно проще для байесовского процесса, особенно концептуально.
вероятностная
Спрашивающему может и не нравиться это, но нет смысла думать и понимать, что на самом деле делают методы логического вывода или моделирования и как их интерпретировать. Нет смысла искать, что проще, когда они достигают разных целей.
1
Я в порядке с советом четко подумать о том, что вы пытаетесь сделать и как работает анализ, @Mayo. Я сам дал этот совет ;-). Мне также знакома идея о том, что байесовский и частый анализ делают разные предположения о природе вероятности. Однако, как я отмечаю в этом вопросе, я встречал несколько человек (например, кандидатов наук, которые хорошо разбираются в проблемах), которые говорят, что бывают моменты, когда они достаточно похожи, и что 1 удобнее. Другие ответы показывают, что такие примеры можно привести. Я хотел бы видеть любые дополнительные случаи, о которых вы знаете.
gung - Восстановить Монику
Просто любопытно - когда вы говорите, что «частый анализ более практичен», вы говорите о программном обеспечении - например, использование lm ()в R проще в использовании? Или есть что-то еще?
вероятностная
@probabilityislogic, по существу. Мой пример использует t.test()в отличие от кодирования байесовский t-тест в WinBUGS, который требует гораздо больше кода. Возможно, вместо «более практичный», я должен был сказать «проще».
gung - Восстановить Монику

Ответы:

26

(1) В тех случаях, когда функция правдоподобия трудноразрешима (по крайней мере, численно), использование байесовского подхода с помощью приблизительных байесовских вычислений (ABC) получило распространение по сравнению с некоторыми конкурентами, которые часто встречаются, такими как составные вероятности ( 1 , 2 ) или эмпирическая вероятность, потому что она, как правило, легче реализовать (не обязательно правильно). В связи с этим использование ABC стало популярным в тех областях, где часто встречаются неразрешимые вероятности, такие как биология , генетика и экология . Здесь мы могли бы упомянуть океан примеров.

Некоторые примеры трудноразрешимых вероятностей

  • Наложенные процессы. Кокс и Смит (1954) предложили модель в контексте нейрофизиологии, которая состоит из наложенных точечных процессов. Например, рассмотрим время между электрическими импульсами, наблюдаемыми в некоторой части мозга, которые излучались несколькими нейронами в течение определенного периода. Этот образец содержит невидимые наблюдения, что затрудняет построение соответствующей вероятности, затрудняя оценку соответствующих параметров. (Частичное) частое решение было недавно предложено в этой статье . Реализация подхода ABC также была недавно изучена, и ее можно найти здесь .N

  • Популяционная генетика является еще одним примером моделей, приводящих к неразрешимым вероятностям. В этом случае несговорчивости имеет различный характер: вероятность выражается в терминах многомерного интеграла (иногда размерности ) , который будет принимать несколько десятилетий только , чтобы оценить его в одной точке. Эта область, вероятно, является штаб-квартирой ABC.1000+

user10525
источник
1
Это здорово! Можете ли вы разделить их на 2 ответа (чтобы я мог дважды проголосовать за вас ;-) и привести лишь один типичный (игрушечный) пример? Благодарю.
gung - Восстановить Монику
2
@Procrastinator Не могли бы вы немного рассказать о том, почему в некоторых контекстах вероятность неосуществима. Учитывая, что вы упоминаете биологию, генетику и экологию, я полагаю, что это связано со сложными зависимостями между параметрами. Я думаю, что это было бы особенно полезно для людей, не знакомых с байесовским анализом (которым я являюсь), особенно с учетом того, что страница википедии на ABC, на которую вы ссылаетесь, не дает большого контекста. Спасибо
Антуан Верне
15

Как байесовское программное обеспечение улучшается, «проще применять» вопрос становится спорным. Байесовское программное обеспечение становится все проще и проще. Недавний пример из статьи под названием Байесовская оценка заменяет t-критерий . Следующий веб-сайт содержит ссылки на статью и программное обеспечение: http://www.indiana.edu/~kruschke/BEST/

Выдержка из введения в статью:

... у некоторых людей складывается впечатление, что выводы из NHST и байесовских методов имеют тенденцию совпадать в простых ситуациях, таких как сравнение двух групп: «Таким образом, если ваш основной вопрос интереса может быть просто выражен в форме, поддающейся тестированию, скажем, действительно, нет необходимости пытаться применить полный байесовский механизм к такой простой проблеме »(Brooks, 2003, p. 2694). Эта статья, напротив, показывает, что оценка байесовских параметров дает гораздо более богатую информацию, чем t-критерий NHST, и что ее выводы могут отличаться от результатов t-критерия NHST. Решения, основанные на оценке байесовских параметров, лучше обоснованы, чем решения, основанные на NHST, независимо от того, согласуются ли решения, полученные этими двумя методами, или нет.

Джон К. Крушке
источник
10
Я понимаю, что ваш ответ либо всегда, либо «это будет всегда скоро». Это ответ байесовского партизана.
gung - Восстановить Монику
3
А вот и онлайн-реализация Javascript BEST Крушке. Байесовский анализ в браузере :) sumsar.net/best_online
Расмус Батх
13

θзнак равноп(Икс<Y)ИксYИксYθ

Иксе(Икс;ξ1)F(Икс;ξ1)Yграмм(Y;ξ2)грамм(Y;ξ2)

()θзнак равноF(Y;ξ1)грамм(Y;ξ2)dY,

(ξ1,ξ2)θ

(ξ1,ξ2)()θ

user10525
источник
4
+1 к обоим вашим ответам - это интересные примеры. Вы, кажется, предполагаете, что решение для частых должно основываться на вероятностном подходе, по-видимому, игнорируя непараметрические методы. В этом конкретном случае непараметрические методы частых рассказов главы 5 в книге, с которой вы связались, кажутся мне, по крайней мере, такими же простыми в использовании, как и байесовские методы.
MånsT
@ MånsT Хороший вопрос. На самом деле, этот ответ фокусируется на байесовском и основанном на вероятности предположении. Некоторое время назад я написал ответ о непараметрическом решении этой проблемы, которое, как вы указываете, так же просто, как и байесовский подход.
@ MånsT & Procrastinator, я тоже проголосовал за это. Мне не ясно, что «самое простое» должно означать в контексте этого вопроса / комментариев, сделанных мне за те годы, которые его вызвали. В основном я хотел исключить ответы, в которых аналитик имеет теоретическую позицию, так что всегда лучше по причинам, не связанным с ситуацией. Такая позиция, конечно, оправдана, и в Интернете есть много мест для просмотра таких аргументов (включая некоторые из них в резюме), но я подумал, что было бы интересно иметь место, где люди перечисляют случаи, когда они будет использовать другой и почему.
gung - Восстановить Монику
13

Я обучаюсь статистике часто (фактически, эконометрике), но у меня никогда не было конфронтационной позиции по отношению к байесовскому подходу, поскольку моя точка зрения заключается в том, что философский источник этой «эпической» битвы с самого начала был в корне неверным (я уже говорил мои взгляды тут ). На самом деле я планирую также обучить себя байесовскому подходу в ближайшем будущем.

Почему? Потому что один из аспектов статистической статистики, который меня больше всего привлекает как математическое и концептуальное стремление, в то же время меня больше всего беспокоит: асимптотика размера выборки. По крайней мере, в эконометрике почти нетСегодня в серьезной статье утверждается, что любой из различных оценщиков, обычно применяемых в экономистах с частыми статистиками, обладает любыми желаемыми свойствами «малого образца», которые мы хотели бы получить от оценщика. Все они полагаются на асимптотические свойства, чтобы оправдать их использование. Большинство использованных тестов обладают желаемыми свойствами только асимптотически ... Но мы больше не находимся в "z-land / t-land": весь сложный (и внушительный) аппарат современного частотного оценивания и вывода также является весьма своеобразным, что означает, что иногда выборка laaaaaaaaa ... aaaarge действительно необходима для того, чтобы эти драгоценные асимптотические свойства проявились и положительно повлияли на оценки, полученные из оценок, что было доказано различными моделями моделирования. Имея в виду десятки тысяч наблюдений, которые хотя и становятся доступными для некоторых областей экономической деятельности (например, рынка труда или финансовых рынков), существуют другие (например, макроэкономика), в которых они никогда не будут делать (по крайней мере, в течение моей жизни). И меня это очень беспокоит, потому что оно действительно выводит полученные результатынеопределенный (не просто стохастический).

Байесовская эконометрика для малых выборок не опирается на асимптотические результаты. «Но они полагаются на субъективный априор !» это обычный ответ ... на который мой простой, практический ответ следующий: «если явление старое и изучено ранее, то можно оценить предшествующее на основании прошлых данных. Если явление новое , чем еще, если нет Субъективными аргументами можем ли мы начать обсуждение этого ?

оборота Алекос Пападопулос
источник
5
Это заслуживающая внимания перспектива, но обратите внимание, что существуют частые подходы, которые не основаны на асимптотике, такие как симуляции Монте-Карло, бутстрап и тесты перестановки.
gung - Восстановить Монику
1
А если попытаться получить лучшее из обоих миров? Попытка: Бартельс, Кристиан (2017): Использование предыдущих знаний в тестах для частых. figshare. doi.org/10.6084/m9.figshare.4819597.v3 Получено: 17 18 мая, 10 мая 2017 года (время по Гринвичу)
user36160
13

Это поздний ответ, тем не менее, я надеюсь, что это что-то добавит. Я прошел обучение в области телекоммуникаций, где большую часть времени мы используем байесовский подход.

Вот простой пример: предположим, что вы можете передавать четыре возможных сигнала напряжением +5, +2,5, -2,5 и -5 вольт. Один из сигналов из этого набора передается, но сигнал искажается гауссовским шумом к тому времени, когда он достигает принимающей стороны. На практике сигнал также ослабляется, но мы упустим этот вопрос для простоты. Вопрос заключается в следующем: если вы находитесь на принимающей стороне, как вы проектируете детектор, который сообщает вам, какой из этих сигналов был первоначально передан?

Эта проблема, очевидно, лежит в области проверки гипотез. Однако вы не можете использовать p-значения, так как тестирование значимости может потенциально отклонить все четыре возможных гипотезы, и вы знаете, что один из этих сигналов был фактически передан. Мы можем использовать метод Неймана-Пирсона для разработки детектора в принципе, но этот метод лучше всего подходит для двоичных гипотез. Для нескольких гипотез становится слишком неуклюжим, когда вам приходится иметь дело с числовыми ограничениями для вероятности ложных тревог. Простую альтернативу дает тестирование байесовской гипотезы. Любой из этих сигналов можно было бы выбрать для передачи, поэтому предыдущий является равновероятным. В таких равновероятных случаях метод сводится к выбору сигнала с максимальной вероятностью. Этот метод может дать хорошую геометрическую интерпретацию: выберите сигнал, который окажется ближе всего к полученному сигналу. Это также приводит к разделению пространства принятия решений на несколько областей принятия решения, так что если принятый сигнал должен попадать в конкретную область, то принимается решение, что гипотеза, связанная с этой областью принятия решения, является верной. Таким образом, дизайн детектора сделан простым.

оборота Джяуре
источник
4
Спасибо, что поделились с нами своим опытом. Добро пожаловать на наш сайт!
whuber
4

Так называемые «частые» статистические тесты обычно эквивалентны в принципе более сложному байесовскому подходу при определенных допущениях. Когда эти допущения применимы, любой из этих подходов даст одинаковый результат, поэтому безопаснее использовать более простой тест Frequentist. Байесовский подход в целом безопаснее, потому что он делает предположения явными, но если вы знаете, что делаете, тест Frequentist часто так же хорош, как и байесовский подход, и, как правило, его легче применять.

богдановской
источник
1
Благодарю. Вы заметите, что тесты Frequentist «обычно легче применять». Знаете ли вы о конкретной ситуации, когда это не так (если F только «обычно» проще, должно быть несколько таких случаев). В настоящее время мы можем отложить в сторону вопросы о том, какой подход будет «более безопасным», и просто сосредоточиться на более легкой для применения части.
gung - Восстановить Монику
4

(Я попробую то, что я думал, будет самым типичным ответом.)

Допустим, у вас есть ситуация, когда есть несколько переменных и один ответ, и вы много знаете о том, как одна из переменных должна быть связана с ответом, но не так много о других.

В такой ситуации, если вы будете выполнять стандартный множественный регрессионный анализ, это предварительное знание не будет приниматься во внимание. После этого может быть проведен мета-анализ, который может быть интересен, чтобы пролить свет на то, соответствует ли текущий результат другим результатам и может позволить немного более точную оценку (путем включения предшествующих знаний на тот момент). Но такой подход не позволил бы тому, что было известно об этой переменной, повлиять на оценки других переменных.

Другой вариант заключается в том, что можно было бы кодировать и оптимизировать свою собственную функцию, которая фиксирует связь с рассматриваемой переменной и находит значения параметров для других переменных, которые максимизируют вероятность данных с учетом этого ограничения. Проблема здесь заключается в том, что, хотя первый вариант не ограничивает адекватно бета-оценку, этот подход чрезмерно ограничивает ее.

Может оказаться возможным наладить некоторые алгоритмы, которые бы более адекватно подходили к ситуации, и подобные ситуации кажутся идеальными кандидатами для байесовского анализа. Любой, кто не противится байесовскому подходу, должен быть готов попробовать его в подобных случаях.

gung - Восстановить Монику
источник
2

Область исследований, в которой байесовские методы чрезвычайно просты, а методы Frequentist чрезвычайно трудны для подражания, - это область оптимального дизайна .

Икс(1)βИкс(2)β

Сложность в том, что истинное значение будет определять оптимальный выбор xβИкс(я)β^ββ^Икс(я)β

ββИксИкс

С байесовской точки зрения эта проблема очень проста.

  1. β
  2. Икс
  3. Икс
  4. Повторите шаги 2 и 3, пока желаемая точность не будет достигнута

Икс

Cliff AB
источник
2

Возможно, одним из наиболее простых и распространенных случаев, когда байесовский подход проще, является количественная оценка неопределенности параметров.

В этом ответе я не имею в виду интерпретацию доверительных интервалов и достоверных интервалов. На данный момент, давайте предположим, что пользователь в порядке с использованием любого метода.

С учетом сказанного, в байесовских рамках это прямо вперед; это предельная дисперсия апостериора для любого отдельного интересующего параметра. Предполагая, что вы можете сделать выборку сзади, затем просто взять ваши образцы и вычислить ваши отклонения. Готово!

В случае с Frequentist это обычно бывает просто в некоторых случаях, и это настоящая боль, когда это не так. Если у нас большое количество выборок и небольшое количество параметров (и кто действительно знает, насколько большой размер достаточно большой), мы можем использовать теорию MLE для получения КИ. Тем не менее, эти критерии не всегда выполняются, особенно для интересных случаев (например, модели смешанных эффектов). Иногда мы можем использовать начальную загрузку, но иногда мы не можем! В тех случаях, когда мы не можем, это может быть действительно очень сложно получить оценки ошибок, и часто требуется немного хитрости (т.е. формула Гринвуда для получения SE для кривых Каплана-Мейера). «Использование некоторого ума» не всегда надежный рецепт!

Cliff AB
источник