Кто такие байесовцы?

Когда кто-то начинает интересоваться статистикой, дихотомия «Частый» и «Байесовский» вскоре становится обычным явлением (а кто вообще не читал « Сигнал и шум» Нейта Сильвера ?). В беседах и вводных курсах точка зрения является чрезвычайно частой ( MLE , значения), но есть небольшая часть времени, посвященная восхищению формулой Байеса и касанием идеи предварительного распределения , обычно по касательной.$p$

Тон, используемый для обсуждения байесовской статистики, колеблется между уважением к ее концептуальным основам и намеком на скептицизм в отношении пропасти между высокими целями и произволом в выборе предыдущего распределения или, в конце концов, последующим использованием математики для часто используемых.

Такие предложения, как «если вы заядлый байесовский ...», имеются в большом количестве.

Вопрос в том, кто сегодня байесовский? Являются ли они избранными академическими учреждениями, в которых вы знаете, что если вы пойдете туда, вы станете байесовцем? Если это так, они специально ищут? Имеем ли мы в виду лишь нескольких уважаемых статистиков и математиков, и если да, то кто они?

Существуют ли они как таковые, эти чистые «байесовцы»? Они с радостью примут ярлык? Это всегда лестное различие? Являются ли они математиками с особыми слайдами на собраниях, лишенными каких-либо значений и доверительных интервалов, легко обнаруживаемыми в брошюре?$p$

Сколько нишу занимает «байесовский»? Имеем ли мы в виду меньшинство статистиков?

Или текущий байесовский приравнивается к приложениям машинного обучения?

... Или, что еще более вероятно, байесовская статистика - не столько отрасль статистики, сколько эпистемологическое движение, которое выходит за рамки вероятностных расчетов в философии науки? В этом отношении все ученые были бы байесовскими в глубине души ... но не было бы такой вещи как чистый байесовский статистик, непроницаемый для частых методов (или противоречий).

Я собираюсь принять ваши вопросы по порядку:

Вопрос в том, кто сегодня байесовский?

Любой, кто выполняет анализ байесовских данных и идентифицирует себя как «байесовский». Также как программист - это тот, кто программирует и идентифицирует себя как «программист». Небольшое отличие состоит в том, что по историческим причинам байесовский язык имеет идеологические коннотации из-за часто горячего спора между сторонниками «частых» интерпретаций вероятности и сторонниками «байесовских» интерпретаций вероятности.

Являются ли они некоторыми академическими учреждениями, где вы знаете, что если вы пойдете туда, вы станете байесовским?

Нет, как и в других разделах статистики, вам нужна хорошая книга (и, возможно, хороший учитель).

Если это так, они специально ищут?

Байесовский анализ данных является очень полезным инструментом при проведении статистического моделирования, которое, как мне кажется, является довольно востребованным навыком (даже если компании, возможно, специально не ищут "байесовских").

Имеем ли мы в виду лишь нескольких уважаемых статистиков и математиков, и если да, то кто они?

Есть много уважаемых статистикам , что я считаю , что называть себя Bayesians , но это не в Bayesians.

Существуют ли они как таковые, эти чистые «байесовцы»?

Это немного похоже на вопрос "существуют ли эти чистые программисты"? Существует забавная статья под названием « 46656 разновидностей байесовцев» , и среди «байесовцев» есть веский аргумент в отношении многих основополагающих вопросов. Также как программисты могут спорить о достоинствах различных методов программирования. (Кстати, программа для программистов на Хаскеле).

Они с радостью примут ярлык?

Некоторые делают, некоторые нет. Когда я обнаружил байесовский анализ данных, я подумал, что это лучший результат с нарезанного хлеба (я до сих пор знаю), и я был счастлив назвать себя «байесовским» (не в последнюю очередь, чтобы раздражать людей с p-значением в моем отделе). В настоящее время мне не нравится этот термин, я думаю, что он может оттолкнуть людей, потому что анализ байесовских данных звучит как некий культ, а не полезный метод в вашем наборе статистических инструментов.

Это всегда лестное различие?

Нет! Насколько я знаю, термин "байесовский" был введен известным статистиком Фишером как уничижительный термин. До этого это называлось «обратная вероятность» или просто «вероятность».

Являются ли они математиками с особыми слайдами на собраниях, лишенными каких-либо значений p и доверительных интервалов, легко обнаруживаемыми в брошюре?

Ну, в байесовской статистике есть конференции, и я не думаю, что они включают столько р-значений. Будете ли вы находить своеобразные слайды, будет зависеть от вашего фона ...

Сколько нишу занимает «байесовский»? Имеем ли мы в виду меньшинство статистиков?

Я все еще думаю, что меньшинство статистиков имеют дело с байесовской статистикой, но я также думаю, что эта доля растет.

Или текущий байесовский приравнивается к приложениям машинного обучения?

Нет, но байесовские модели часто используются в машинном обучении. Вот отличная книга по машинному обучению, которая представляет машинное обучение с байесовской / вероятностной точки зрения: http://www.cs.ubc.ca/~murphyk/MLbook/

Надеюсь, что ответил на большинство вопросов :)

Обновить:

[C] Не могли бы вы добавить список конкретных методов или предпосылок, которые отличают байесовскую статистику?

Что различать Байес статистики является использованием байесовской модели :) Вот моя спина на то , что байесовский модель является :

Байесовская модель - это статистическая модель, в которой вы используете вероятность для представления всей неопределенности в модели, как неопределенности в отношении выходных данных, так и неопределенности в отношении входных данных (или параметров) для модели. За этим следует вся предшествующая / апостериорная / теорема Байеса, но, по моему мнению, использование вероятности для всего является тем, что делает его байесовским (и действительно, лучшим словом, возможно, будет просто что-то вроде вероятностной модели).

Теперь байесовские модели могут быть сложными для подгонки , и для этого используется множество различных вычислительных технологий. Но эти методы сами по себе не являются байесовскими . Чтобы назвать некоторые вычислительные методы:

• Марковская цепь Монте-Карло
  • Метрополис-Гастингс
  • Выборка Гиббса
  • Гамильтониан монте карло
• Вариационный байесовский
• Приближенное байесовское вычисление
• Частичные фильтры
• Аппроксимация Лапласа
• И так далее...

Кто был известный статистик, который ввел термин «байесовский» как уничижительный?

Это был якобы Рональд Фишер. Бумага Когда байесовский вывод стал «байесовским»? дает историю термина "байесовский".

Байесовцы - это люди, которые определяют вероятности как числовое представление правдоподобности какого-либо предложения. Частые люди - это люди, которые определяют вероятности как долгосрочные частоты. Если вас устраивает только одно или другое из этих определений, то вы либо байесовец, либо частик. Если вы довольны одним из них и используете наиболее подходящее определение для поставленной задачи, то вы статистик! ; o) По сути, это сводится к определению вероятности, и я надеюсь, что большинство работающих статистиков смогут увидеть преимущества и недостатки обоих подходов.

намек на скептицизм в отношении пропасти между высокими целями и произвола в выборе предыдущего распределения или, в конце концов, в конечном итоге использования математики для часто используемых.

Скептицизм также идет в другом направлении. Частота была изобретена с высокой целью устранения субъективности существующих представлений о вероятности и статистике. Однако субъективность все еще существует (например, при определении соответствующего уровня значимости при проверке гипотез), но она просто не делается явной или часто просто игнорируется .

Эндрю Гельман , например, профессор статистики и политологии в Колумбийском университете, является выдающимся байесовцем.

Я подозреваю, что большинство стипендиатов ISBA , вероятно, тоже считают себя байесовцами.

В целом, следующие темы исследований обычно отражают байесовский подход. Если вы читаете статьи о них, скорее всего, авторы назвали бы себя «байесовскими»

• Марков-цепь Монте-Карло
• Вариационные байесовские методы (название дает это далеко)
• Частичная фильтрация
• Вероятностное программирование

Сегодня мы все байесовцы , но есть мир за пределами этих двух лагерей: алгоритмическая вероятность. Я не уверен, что является стандартной ссылкой на эту тему, но есть красивая статья Колмогорова об алгоритмической сложности: А. Н. Колмогоров, Три подхода к определению понятия «количество информации» , Пробл. Передачи инф., 1965, том 1, выпуск 1, 3–11. Я уверен, что есть английский перевод.

В этой статье он определяет количество информации тремя способами: комбинаторным, вероятностным и (новым) алгоритмическим. Комбинаторный напрямую отображается на частоту, вероятностный не напрямую соответствует байесовскому, но он совместим с ним.

ОБНОВЛЕНИЕ: Если вас интересует философия вероятности, я хочу указать на очень интересную работу « Происхождение и наследие колмогоровского Grundbegriffe».«Гленн Шафер и Владимир Вовк. Мы вроде все забыли до Колмогорова, и до его плодотворной работы многое происходило. С другой стороны, мы мало знаем о его философских взглядах. Обычно думают, что он был например, частый человек. Реальность такова, что он жил в Советском Союзе в 1930 году », где было довольно опасно рисковать философией, в буквальном смысле, вы могли попасть в экзистенциальную проблему, что сделал какой-то ученый (оказался в тюрьмах ГУЛАГа). Он был вынужден неявно указать, что он был частым человеком. Я думаю, что в действительности он был не просто математиком, а ученым, и у него было сложное представление о применимости теории вероятностей к реальности.

Есть еще одна статья Вовка об алгоритмическом подходе Колмогорова к случайности: вклад Колмогорова в основы вероятности

Вовк создал теоретико-игровой подход к вероятностям - тоже очень интересный.

$P(B|E)$$B$$E$$P(E|B)$

ОБНОВЛЕНИЕ 3:

Я также хотел указать на что-то в оригинальной работе Колмогорова, которое практикующие не знают по какой-то причине (или легко забывают). У него был раздел о связи теории с реальностью. В частности, он установил два условия использования теории:

• A. Если вы повторите эксперимент много раз, то частота появления будет отличаться лишь незначительно от вероятности, практически наверняка
• Б. Если вероятность очень мала, то если вы проводите эксперимент только один раз, то вы можете быть практически уверены, что событие не произойдет

Существуют разные интерпретации этих условий, но большинство людей согласны с тем, что это не взгляды чистых частых. Колмогоров заявил, что он в определенной степени следует подходу фон Мизеса, но, похоже, он указывает, что все не так просто, как может показаться. Я часто думаю о состоянии B и не могу прийти к стабильному выводу, каждый раз, когда я думаю об этом, оно выглядит немного по-другому.

Самым «жестким» байесовским из всех, кого я знаю, является Эдвин Джейнс , умерший в 1998 году. Я ожидаю, что среди его учеников будут найдены и другие «жесткие» байесовские учения, особенно посмертный соавтор его основной работы « Теория вероятностей: Логика науки , Ларри Бретторст. Другие известные исторические байесовцы включают Гарольда Джеффриса и Леонарда Сэвиджа . Хотя у меня нет полного обзора этой области, у меня сложилось впечатление, что более недавняя популярность байесовских методов (особенно в машинном обучении) связана не с глубоким философским убеждением, а с прагматической позицией, согласно которой байесовские методы оказались полезными во многих Приложения. Я думаю, что типичным для этой должности является Эндрю Гельман .

Я не знаю, кто такие Байесовцы (хотя я предполагаю, что у меня должно быть предварительное распределение для этого), но я знаю, кто они.

По словам выдающегося ныне покойного Байеса, Д. В. Линдли, «нет никого менее байесовского, чем эмпирический байесовский». Эмпирический байесовский раздел Байесовских методов: подход социальных и поведенческих наук, второе издание Джеффа Гилла . То есть я полагаю, что даже «частые» думают о том, какая модель имеет смысл (выбор формы модели в некотором смысле является предварительным), в отличие от эмпирических байесов, которые абсолютно механичны во всем.

Я думаю, что на практике не так много различий в результатах статистического анализа, проведенного высокопоставленными байесовцами и частыми лицами. Что страшно, так это то, что вы видите статистика низкого качества, который пытается жестко сопоставить себя (никогда не наблюдал это с женщиной) после своего идеологического образца для подражания с абсолютной идеологической чистотой и подходить к анализу точно так, как он думает, что его образец для подражания будет, но без качество мысли и суждения образцом для подражания. Это может привести к очень плохому анализу и рекомендациям. Я думаю, что сверхтвердое ядро, но низкое качество, идеологи гораздо чаще встречаются среди байесов, чем среди частых людей. Это особенно относится к анализу решений.

Я, вероятно, слишком поздно для этой дискуссии, чтобы кто-нибудь заметил это, но я думаю, это позор, что никто не указал на тот факт, что самое важное различие между байесовским и частотным подходами заключается в том, что байесовские (в основном) используют методы это уважение принципа правдоподобия, в то время как Frequentists почти всегда нет. Принцип правдоподобия говорит о том, что данные, относящиеся к интересующему параметру статистической модели, полностью содержатся в соответствующей функции правдоподобия.

Частые люди, которым небезразлична статистическая теория или философия, должны быть гораздо больше обеспокоены аргументами о валидности принципа правдоподобия, чем аргументами о различии между частичной и частичной верой в интерпретации вероятности и о желательности предыдущих вероятностей. В то время как различные интерпретации вероятности могут сосуществовать без конфликта, а некоторые люди предпочитают предоставлять априор, не требуя, чтобы другие это делали, если принцип правдоподобия верен либо в положительном, либо в нормативном смысле, то многие методы Frequentist теряют свои претензии к оптимальности. Частые нападения на принцип правдоподобия являются яростными, потому что этот принцип подрывает их статистическое мировоззрение, но в основном эти атаки не достигают цели ( http://arxiv.org/abs/1507.08394).

Вы можете верить, что вы байесовец, но вы, вероятно, ошибаетесь ... http://www.rmm-journal.de/downloads/Article_Senn.pdf

Байесовцы получают распределение вероятностей результатов, представляющих интерес, учитывая предварительное мнение / предварительную информацию. Для байесовского это распределение (и его резюме) - то, что будет интересовать большинство людей. Сравните с типичными «частыми» результатами, которые говорят вам, что вероятность увидеть результаты как более экстремальные, чем наблюдаемые, учитывая, что нулевая гипотеза верна ( p-значение) или интервальные оценки для интересующего параметра, 95% которого будут содержать истинное значение, если вы сможете выполнить повторную выборку (доверительный интервал).

Байесовские предварительные распределения являются спорными, потому что они ВАШИ предыдущие. Не существует «правильного» априора. Большинство прагматичных байесовцев ищут внешние доказательства, которые могут быть использованы для приоры, а затем сбрасывают со счетов или модифицируют их в зависимости от того, что, как ожидается, будет «разумным» для конкретного случая. Например, скептические приоры могут иметь «комок» вероятности в нулевом случае - «Насколько хорошими должны быть данные, чтобы заставить меня передумать / изменить текущую практику?» Большинство также посмотрит на надежность выводов для различных приоров.

Есть группа байесов, которые изучают «эталонные» априоры, которые позволяют им строить выводы, на которые «не влияет» предварительное мнение, и поэтому они получают вероятностные утверждения и интервальные оценки, которые имеют «частые» свойства.

Есть также группа «хардкорных байесовцев», которые могут выступать за то, чтобы не выбирать модель (все модели ошибочны), и которые могут утверждать, что предварительный анализ обязательно повлияет на ваши приоритеты, и поэтому делать это не следует. Хотя таких радикалов мало ...

В большинстве областей статистики вы найдете Байесовский анализ и практики. Так же, как вы найдете некоторых людей, которые предпочитают непараметрические ...

Просто, чтобы ответить на ваш последний вопрос (так что я не за приз!), О связи между байесовским / частым подходом и эпистемологической позицией, самый интересный автор, с которым я столкнулся, - это Дебора Майо. Хорошей отправной точкой является этот обмен 2010 года между Мейо и Эндрю Гельманом (который выступает здесь как несколько еретический байесовец). Позже Мейо опубликовал подробный ответ на статью Гельмана и Шализи здесь .

Подмножество всех байесов, то есть тех байесов, которые потрудились отправить электронное письмо, перечислены здесь .

Я бы назвал Бруно де Финетти и Ж.Дж. дикарями Байеса. Они работали на его философских основах.

Для понимания основополагающих дебатов между частыми лицами и байесовцами было бы трудно найти более авторитетный голос, чем Брэдли Эфрон.

Эта тема была темой, которую он затрагивал много раз в своей карьере, но лично я нашел одну из его более старых работ полезной: Противоречия в Основах Статистики (этот выиграл награду за выдающееся превосходство).