«Полностью байесовский» против «байесовский»

20

Я изучал байесовскую статистику и часто читал в статьях

«Мы принимаем байесовский подход»

или что-то подобное. Я также заметил, реже:

«Мы принимаем полностью байесовский подход»

(мой акцент). Есть ли разница между этими подходами в каком-либо практическом или теоретическом смысле? FWIW, я использую пакет MCMCglmmв R на случай, если это уместно.

bayesian Джо Кинг
источник
6
Я не думаю, что «полностью байесовский» имеет строгий смысл.
Стефан Лоран
4
@Stephane Я почти уверен, что байесовский язык полностью совпадает с байесовским, но прилагательное полностью используется, чтобы подчеркнуть, что это не эмпирический байесовский метод.
Майкл Р. Черник
1
@ Майкл, это имеет смысл, но я все еще думаю, что значение не универсально, и это, кажется, подтверждается несколькими различными ответами на вопрос. Я не удивлюсь тому, что некоторые люди говорят «полностью байесовский», чтобы сказать, что они используют субъективный априорный, а не неинформативный. Другая возможная ситуация - когда люди используют «прогнозирующее распределение байесовских частот», а затем переходят к чисто байесовскому подходу.
Стефан Лоран
@ Стефан, я принимаю твое мнение. Я думаю, что вы работаете в байесовской статистике больше, чем я, и поэтому, вероятно, слышали, как люди используют этот термин по-разному. По крайней мере, мой ответ восприимчив и частично прав.
Майкл Р. Черник
@MichaelChernick: да, ваш ответ является примером псевдобайесовского подхода по сравнению с истинным байесовским подходом, но есть и другие подобные ситуации
Стефан Лоран,

Ответы:

19

Терминология «полностью байесовский подход» - это не что иное, как способ указать, что человек переходит от «частично» байесовского подхода к «истинному» байесовскому подходу, в зависимости от контекста. Или отличить «псевдобайесовский» подход от «строго» байесовского.

Например, один автор пишет: «В отличие от большинства других заинтересованных авторов, которые обычно использовали эмпирический байесовский подход для RVM, мы применяем полностью байесовский подход», поскольку эмпирический байесовский подход является «псевдобайесовским» подходом. Существуют и другие псевдобайесовские подходы, такие как прогнозирующее распределение байесовско-частых (распределение, чьи квантили соответствуют границам интервалов прогнозирования-частотников).

На этой странице представлены несколько пакетов R для байесовского вывода. MCMCglmm представлен как «полностью байесовский подход», потому что пользователь должен выбрать предыдущий дистрибутив, в отличие от других пакетов.

Другое возможное значение «полностью байесовского» - это когда выполняется байесовский вывод, полученный на основе байесовской теории принятия решений, то есть на основе функции потерь, потому что байесовская теория принятия решений является надежной фундаментальной основой для байесовского вывода.

Стефан Лоран
источник
Спасибо тебе за это. спасибо, поэтому пакет, MCMCglmmявляющийся «полностью байесовским», не имеет ничего общего с использованием MCMC для получения оценок, и будет ли он по-прежнему полностью байесовским, если мне нужно будет указать априор, из которого апостериорный может быть найден аналитически? Извините, если мой вопрос не имеет смысла - я все еще новичок, но я пытаюсь учиться!
Джо Кинг,
1
MCMC - это просто метод, который полезен для моделирования апостериорных распределений в байесовской статистике. Но это не имеет ничего общего с самим байесовским подходом.
Стефан Лоран
13

Я думаю, что терминология используется для различения байесовского подхода и эмпирического байесовского подхода. Полный Байес использует определенный априор, тогда как эмпирический Байес позволяет оценить априор посредством использования данных.

Майкл Р. Черник
источник
Спасибо ! Я также видел «эмпирический байесовский», упомянутый здесь и там, но он никогда не появлялся в вещах, которые я читал, до такой степени, что мне приходилось серьезно задумываться о том, что это значит. Я только что посмотрел на страницу википедии, где говорится, что она также известна как «максимальная предельная вероятность» и «приближение к полностью байесовскому подходу к иерархической байесовской модели». Хм, честно говоря, я не очень понимаю, что на этой странице :(
Джо Кинг,
@JoeKing Существует много интересных и важных применений эмпирических байесовских методов. Идея восходит к Герберту Роббинсу в 1960-х годах. В 1970-х годах Эфрон и Моррис показали, что оценка Джеймса-Стейна многомерного нормального среднего и другие подобные оценки усадки являются эмпирическими байесовскими. В своей новой книге о крупномасштабном выводе Брэд Эфрон показывает, как эмпирические байесовские методы могут использоваться для задач, которые иногда называются малыми n, большими p, поскольку многие гипотезы о параметрах проверяются при сравнительно небольших размерах выборки (т. Е. P может быть намного больше, чем n ). Это придумать микрочипов.
Майкл Р. Черник
1
Еще раз спасибо Я должен признать, что я не понимаю всего того, что вы только что написали, но я собираюсь использовать это в качестве отправной точки для дальнейшего изучения этого вопроса.
Джо Кинг,
9

«Байесовский» действительно означает «приблизительный байесовский».

«Полностью байесовский» также означает «приблизительный байесовский», но с меньшим приближением.

Изменить : разъяснение.

п(θ|Данные)αп(Данные|θ)п(θ),
θ
Арек Патерек
источник
Спасибо. Я прочитал здесь, что MCMCglmmпакет, который я использую, является полностью байесовским. Это потому, что он использует MCMC вместе с априором для параметров?
Джо Кинг,
@ Арек, я правда не уверен. Итак, когда я использую стандартное сопряженное до, я «более чем полностью» байесовский? И почему вы утверждаете, что точечная оценка менее "точна", чем апостериорная симуляция?
Стефан Лоран
1
@ StéphaneLaurent Я не утверждаю, что оценка очков всегда менее точна. Где вчерашние комментарии к моему ответу?
Арек Патерек
1
@ArekPaterek Ваш короткий ответ выглядел как шутка, и поэтому те комментарии, которые не относятся к вашему исправленному ответу, не относятся к пересмотренному. Поэтому я предполагаю, что модератор, вероятно, удалил их. Все еще называть Байесовский пример загадочным.
Майкл Р. Черник
1
Возможно мой первый не удаленный комментарий был неясен. Если ответ Арека был верным, то как мы должны называть ситуацию, когда возможно иметь точное последующее распределение (например, простую сопряженную предшествующую ситуацию)? Байесовский подход "более чем полностью"?
Стефан Лоран
8

Я бы использовал «полностью байесовский», чтобы обозначить, что любые параметры помех были исключены из анализа, а не оптимизированы (например, оценки MAP). Например, модель процесса Гаусса с гиперпараметрами, настроенными для максимизации предельной вероятности, была бы байесовской, но только частично, тогда как, если бы гиперпараметры, определяющие ковариационную функцию, были интегрированы с использованием гиперприоритета, это было бы полностью байесовским ,

Дикран Сумчатый
источник
4
Это, кажется, немного более общий ответ. Чем больше будет маргинализованных, а не оптимизированных количеств, тем более «байесовским» будет решение. Эмпирический байесовский это особый случай.
конъюгированный
Да, это лишь небольшое продолжение ответа Майклза; по сути, оптимизация принципиально не байесовская.
Дикран Сумчатый
3

В качестве практического примера:

Я делаю байесовское моделирование с использованием сплайнов. Общая проблема со сплайнами - выбор узлов. Одна из популярных возможностей - использовать схему Монте-Карло с реверсивным переходом Маркова (RJMCMC), в которой предлагается добавлять, удалять или перемещать узел во время каждой итерации. Коэффициенты для сплайнов являются оценками наименьших квадратов.

Свободные сплайны узлов

По моему мнению, это делает его только «частично байесовским», потому что для «полностью байесовского» подхода необходимо установить приоры на эти коэффициенты (и новые коэффициенты, предложенные во время каждой итерации), но тогда оценки наименьших квадратов не будут работать для RJMCMC схема, и все становится намного сложнее.

лощина
источник
(+1) Я не понимаю вашу ситуацию, но, похоже, ситуация псевдобайесовского подхода
Стефан Лоран,
1

Я бы добавил характеристику, которая до сих пор не упоминалась. Полностью байесовский подход «полностью» распространяет неопределенность во всех неизвестных величинах через теорему Байеса. С другой стороны, псевдобайесовские подходы, такие как эмпирический байесовский подход, не распространяют все неопределенности. Например, при оценке апостериорных прогностических величин полностью байесовский подход будет использовать апостериорную плотность неизвестных параметров модели для получения прогнозирующего распределения целевого параметра. Подход EB не учитывает неопределенность во всех неизвестных - например, некоторые гиперпараметры могут быть установлены на конкретные значения, таким образом, недооценивая общую неопределенность.

user67724
источник