Если интерес представляет собой просто оценка параметров модели (точечная и / или интервальная оценка) и предшествующая информация не является надежной, слабой (я знаю, что это немного расплывчато, но я пытаюсь создать сценарий, в котором выбор до этого сложно) ... Почему кто-то решил использовать байесовский подход с «неинформативными» неподходящими априорными вместо классического подхода?
44
Ответы:
Есть две причины, по которым можно использовать байесовский подход, даже если вы используете крайне неинформативные приоры:
источник
Хотя результаты будут очень похожи, их интерпретации различаются.
Доверительные интервалы подразумевают идею многократного повторения эксперимента и возможности зафиксировать истинный параметр в 95% случаев. Но вы не можете сказать, что у вас есть 95% -ный шанс на это.
Достоверные интервалы (байесовские), с другой стороны, позволяют сказать, что существует 95% «вероятность» того, что интервал фиксирует истинное значение. Обновление: более Байесовский способ сказать, что вы можете быть на 95% уверены в своих результатах.
источник
Так, например, вы можете рассчитать достоверные интервалы для разницы между двумя параметрами.
источник
Сэр Гарольд Джеффрис был сильным сторонником байесовского подхода. Он показал, что если вы используете диффузные неправильные априоры, результирующий байесовский вывод будет таким же, как частный логический подход (т. Е. Байесовские вероятные регионы совпадают с доверительными интервалами частотников). Большинство байесовцев защищают правильные информационные информаторы. Есть проблемы с неподходящими априорами, и некоторые могут утверждать, что ни один из них не является действительно неинформативным. Я думаю, что байесовцы, которые используют эти Джеффриса, делают это как последователи Джеффриса. Деннис Линдли , один из сильнейших сторонников байесовского подхода, очень уважал Джеффриса, но выступал за информативные приоры.
источник
Байесовский подход имеет практические преимущества. Это помогает с оценкой, часто являющейся обязательной. И это позволяет создавать новые семейства моделей и помогает в построении более сложных (иерархических, многоуровневых) моделей.
Например, в смешанных моделях (включая случайные эффекты с параметрами дисперсии) можно получить более точные оценки, если параметры дисперсии оцениваются путем маргинализации по параметрам более низкого уровня (коэффициенты модели; это называется REML ). Байесовский подход делает это естественно. С этими моделями, даже с REML, оценки максимальной вероятности (ML) параметров дисперсии часто равны нулю или смещены вниз. Правильный априор для параметров дисперсии помогает.
Даже если используется точечная оценка ( MAP , максимум апостериори), приоры меняют семейство моделей. Линейная регрессия с большим набором несколько коллинеарных переменных неустойчива. Регуляризация L2 используется как исправление, но она интерпретируется как байесовская модель с гауссовой (неинформативной) предварительной оценкой и MAP. (Регуляризация L1 - это другой априор и дает разные результаты. На самом деле, здесь априор может быть несколько информативным, но он касается коллективных свойств параметров, а не одного параметра.)
Таким образом, есть некоторые общие и относительно простые модели, где для достижения цели необходим байесовский подход!
Еще более предпочтительны более сложные модели, такие как скрытое распределение Дирихле (LDA), используемое в машинном обучении. А некоторые модели по своей природе являются байесовскими, например, основанные на процессах Дирихле .
источник
источник
Есть несколько причин:
Теперь о недостатках простого использования неинформативных априорных слов, начнем с того, что я считаю наиболее важным, а затем перейдем к некоторым также весьма важным техническим аспектам:
Последний пункт - аргумент в пользу предпочтения довольно расплывчатых (или немного более слабоинформативных) априорных значений, обеспечивающих правильную апостериорность. По общему признанию, иногда может быть трудно выбрать из них также, и может быть трудно заметить, что весь задний слой не был исследован. Однако было показано, что байесовские методы с неопределенными (но правильными) приорами во многих областях имеют действительно хорошие свойства небольших выборок с частой точки зрения, и вы, безусловно, можете увидеть, что в качестве аргумента для их использования, хотя с немного большим количеством данных вряд ли любая разница по сравнению с методами с неинформативными априорными
источник