Что такое «неинформативный априор»? Можем ли мы когда-нибудь иметь действительно без информации?

73

Вдохновленный комментарием к этому вопросу :

Что мы считаем «неинформативным» в априоре - и какая информация все еще содержится в предположительно неинформативном априоре?

Я обычно вижу приору в анализе, где это либо анализ по типу частых, пытающийся заимствовать некоторые хорошие части из байесовского анализа (будь то какая-то более простая интерпретация вплоть до «его горячей вещи»), указанный априор является равномерное распределение по пределам измерения эффекта, сосредоточенные на 0. Но даже, утверждающие в форму к предшествующему - это как раз случается быть плоскими.

Есть ли лучший неинформативный перед использованием?

фомиты
источник
2
Возможно, вам понравится так называемый принцип максимальной энтропии . Я не хочу расширять это в полном ответе - статья в Википедии кажется хорошего качества. Я вполне уверен, что некоторые участники будут расширять его гораздо лучше, чем я.
Элвис

Ответы:

93

[Предупреждение: как член, несущий карты, в разделе « Объективный байесовский отсек» ISBA , мои взгляды не являются репрезентативными для всех байесовских статистиков!

Таким образом, не существует такой вещи, как априор с «действительно никакой информацией».

Действительно, «неинформативный» априор, к сожалению, является неправильным. Любое предыдущее распространение содержит некоторую спецификацию, сродни некоторому количеству информации. Даже (или особенно) униформа приора. Действительно, равномерный априор является плоским только для одной заданной параметризации задачи. Если один переходит в другую параметризацию (даже ограниченную), якобианское изменение переменной входит в картину и плотность, и предшествующее уже не является плоским.

Как отметил Элвис, максимальная энтропия - это один из подходов, отстаиваемых при выборе так называемых «неинформативных» приоров. Однако требуется (a) достаточно информации о некоторых моментах предыдущего распределения чтобы указать ограничения которые приводят к предыдущему MaxEnt и (b) предварительный выбор контрольной меры [в непрерывных настройках], выбор, который возвращает дискуссию к начальной стадии! (Кроме того, параметризация ограничений (т. Е. Выборh(θ)π()

Θh(θ)dπ(θ)=h0
π(θ)exp{λTh(θ)}
dμ(θ)h) влияет на форму результирующего MaxEnt априори .)

Хосе Бернардо создал оригинальную теорию эталонных априоров, в которой он выбирает априор, чтобы максимизировать информацию, полученную из данных, путем максимизации расстояния Кульбака между априорным и задним. В простейших случаях без каких-либо неприятных параметров, решение Джеффриса. В более сложных задачах: (a) выбор параметров интереса (или даже ранжирование их порядка интересов) должен быть сделан; (b) вычисление предшествующего уровня является довольно сложным и требует последовательности встроенных компактных наборов, чтобы избежать проблем неправильности. (См. Например, Байесовский выбор для деталей.)

Интересно, что некоторые исследователи, не относящиеся к байесовской перспективе, разрабатывают процедуры, называемые доверительными распределениями, которые представляют собой распределения вероятностей в пространстве параметров, построенные путем инверсии из частотных процедур без явной предварительной структуры или даже доминирующей меры в этом пространстве параметров. Они утверждают, что это отсутствие четко определенного априора является плюсом, хотя результат определенно зависит от выбора процедуры инициализации на основе частоты.

Короче говоря, нет «лучшего» (или даже «лучшего») выбора для «неинформативного» априора. И я считаю, что так и должно быть, потому что сама природа байесовского анализа подразумевает, что выбор предыдущего распределения имеет значение. И что нет сравнения приоры: один не может быть «лучше» другого. (По крайней мере, перед наблюдением данных: после того, как они наблюдаются, сравнение априоров становится выбором модели.) Вывод Хосе Бернардо, Джима Берже, Донгчу Сан и многих других «объективных» байесов состоит в том, что существуют примерно эквивалентные эталонные априоры, которые можно использовать, когда вы не уверены в своей предыдущей информации или ищете эталонный байесовский вывод, некоторые из этих априоров частично поддерживаются аргументами теории информации,

Сиань
источник
14
(+1) Ваша книга? Ох черт. У меня так 387 вопросов для вас :)
Элвис
4
(+1) Для объективного (не менее!), Прямого ответа.
кардинал
2
+1 Спасибо за хороший и хорошо информированный обзор вопросов.
whuber
2
Выдающийся ответ. Спасибо. И еще одна книга, чтобы пойти в список пожеланий.
Fomite
1
Это почти нечестно. В конце концов, он Кристиан Роберт! Просто шучу. Отличный ответ. И я хотел бы, чтобы @ Xi'an мог раскрыть его в посте на своем блоге, особенно о том, как параметризация важна для темы «неинформативных» приоров.
Маноэль Гальдино
16

Привлекательным свойством формальных неинформативных априорных значений является «свойство соответствия частоте»: это означает, что задний 95-процентный интервал достоверности также (по крайней мере, приблизительно) составляет 95-процентный доверительный интервал в частом смысле. Это свойство справедливо для ссылки Бернардо до, хотя средства этих неинформативных априоров не ориентированы на достижение хорошего свойства соответствия частоте, если вы используете «наивный» («плоский») неинформативный априор, такой как равномерное распределение или гауссовский распределение с огромной дисперсией, то нет никакой гарантии, что свойство частых совпадений выполнено. Возможно, упоминание Бернардо «априор» не может рассматриваться как «лучший» выбор неинформативного априора, но может считаться наиболее успешным.

Стефан Лоран
источник
9

Распределения Джеффриса также страдают от несоответствий: априоры Джеффриса для переменной более или более являются неподходящими, что не имеет место для Джеффриса, предшествующего параметру вероятности : мера имеет массу над .(,)(0,)pdp/p(1p)π(0,1)

Рени показал, что неинформативное распределение должно быть связано с неправильным интегралом. Вместо этого посмотрите распределения Лосте, которые избегают этой трудности и инвариантны относительно изменений переменных (например, для мера равна ).pdp/p(1p)


Во-первых, перевод хорош!

Для Э. ЛОСТЕ: "Le calcul des probabilités appliqué à l'artillerie", Revue d'artillerie, том 91, май 1931 года

Для А. РЕНИ: «О новой аксиоматической теории вероятностей» Acta Mathematica, Академия наук Гонконга, том VI, фаск.3-4, 1955

Я могу добавить: М. ДУМАС: «Вероятность вероятности смерти», «Наука и техника», 56, 4-я глава, 1982, с. 687-715.

Хейман
источник
3
Можно ли переписать это на английском языке, даже если это делается довольно плохо с помощью автоматизированной службы перевода, такой как Google Translate? Другие пользователи, более свободно владеющие французским и английским языками, могут помочь вам отредактировать его.
Серебряная рыба
3
Насколько я помню, результат инвариантности Лохте ограничен преобразованиями и для параметров на и соответственно. Другие преобразования из и в приведут к другим априорам. logσlogp/(1p)(0,)(0,1)(0,)(0,1)R
Сиань
2
Из моей краткой переписки с Морисом Дюма в начале 1990-х годов я помню, что он написал «Записку о высшем образовании», в которой он использует преобразования и для получения « инвариантные "приоры. log()logit()
Сиань
3

Я согласен с превосходным ответом Сианя , указавшего, что не существует ни одного априора, который был бы «неинформативным» в смысле несения информации. Чтобы расширить эту тему, я хотел бы отметить, что одной из альтернатив является проведение байесовского анализа в рамках неточной вероятности (см., Например , Walley 1991 , Walley 2000 ). В этих рамках предшествующее убеждение представлено набором вероятностных распределений.и это приводит к соответствующему набору апостериорных распределений. Может показаться, что это не очень полезно, но на самом деле это довольно удивительно. Даже с очень широким набором предшествующих распределений (где определенные моменты могут варьироваться по всем возможным значениям), вы все равно часто получаете заднюю сходимость к одному заднему как .n

Эта аналитическая структура была аксиоматизирована Уолли как его собственная особая форма вероятностного анализа, но по существу эквивалентна надежному байесовскому анализу с использованием набора априорных значений, что дает соответствующий набор исходных данных. Во многих моделях можно установить «неинформативный» набор априоров, который позволяет некоторым моментам (например, предыдущему среднему значению) изменяться во всем возможном диапазоне значений, и это тем не менее дает ценные апостериорные результаты, где задние моменты ограничены более плотно. Эта форма анализа, возможно, лучше претендует на то, чтобы называться «неинформативной», по крайней мере, в отношении моментов, которые могут изменяться во всем допустимом диапазоне.


Простой пример - модель Бернулли: предположим, что мы наблюдаем данные где - неизвестный интересующий параметр. Обычно мы использовали бы бета-плотность в качестве априора (априор Джеффри и эталонный априор имеют эту форму). Мы можем указать эту форму априорной плотности в терминах априорного среднего и другого параметра как:X1,...,Xn|θIID Bern(θ)θμκ>1

π0(θ|μ,κ)=Beta(θ|μ,κ)=Beta(θ|α=μ(κ1),β=(1μ)(κ1)).

(Эта форма дает предыдущие моменты и .) Теперь в неточной модели мы могли бы задайте значение предварительного, чтобы оно состояло из набора всех этих предыдущих распределений по всем возможным ожидаемым значениям , но с другим фиксированным параметром для контроля точности в диапазоне средних значений. Например, мы могли бы использовать набор приоров:E(θ)=μV(θ)=μ(1μ)/κ

P0{Beta(μ,κ)|0μ1}.

Предположим, мы наблюдаем положительных показателей в данных. Затем, используя правило обновления для модели Бернулли-бета, соответствующий апостериорный набор:s=i=1nxi

Px={Beta(s+μ(κ1)n+κ1,n+κ)|0μ1}.

Диапазон возможных значений для последующего ожидания:

sn+κ1E(θ|x)s+κ1n+κ1.

Здесь важно то, что, хотя мы и начали с модели, которая была «неинформативной» в отношении ожидаемого значения параметра (априорное ожидание варьировалось по всем возможным значениям), тем не менее, мы в конечном итоге получаем последующие выводы, которые являются информативными в отношении к последнему ожиданию параметра (теперь они варьируются в более узком наборе значений). Как этот диапазон значений сжимается до одной точки, которая является истинным значением .nθ

Восстановить Монику
источник
+1. Интересно. Что такое каппа в последнем уравнении? Должна ли это быть каппа-звезда?
амеба говорит восстановить монику
Я отредактировал, чтобы удалить изменение в чтобы дать более простую модель. Теперь все должно быть в порядке. κ
Восстановите Монику