Почему приоры Джеффриса считаются неинформативными?

Рассмотрим ранее Джеффриса, где , где - информация Фишера. $p(\theta) \propto \sqrt{|i(\theta)|}$ $i$

Я продолжаю видеть, что этот априор упоминается как неинформативный априор, но я никогда не видел аргумента, почему он неинформативен. В конце концов, это не постоянный априор, поэтому должен быть какой-то другой аргумент.

Я понимаю, что это не зависит от репараметризации, что подводит меня к следующему вопросу. Не является ли детерминант информации Фишера не репараметризацией? Потому что информация Фишера определенно зависит от параметризации проблемы.

Спасибо.

bayesian prior байесовский
источник

Вы читали статью в Википедии? en.wikipedia.org/wiki/Jeffreys_prior

whuber

Да, я там смотрел. возможно я что-то упускаю, но я не чувствую, что статья в Википедии дает адекватный ответ на мои вопросы.

Байесовский

См. Также stats.stackexchange.com/questions/38962/…

Стефан Лоран,

Обратите внимание, что априор Джеффриса не является инвариантным относительно эквивалентных моделей. Например, вывод о параметре отличается при использовании биномиального или отрицательного биномиального распределения выборки. Это несмотря на то, что функции правдоподобия пропорциональны и параметр имеет одинаковое значение в обеих моделях.

p

$p$

вероятностная

Ответы:

Это считается неинформативным из- за инвариантности параметризации. Кажется, у вас сложилось впечатление, что единообразный (постоянный) априор неинформативен. Иногда это так, иногда нет.

То, что происходит с предшествующим Джеффрисом при преобразовании, состоит в том, что якобиан из преобразования всасывается в исходную информацию Фишера, что в итоге дает вам информацию Фишера при новой параметризации. Никакой магии (по крайней мере, в механике), только небольшое исчисление и линейная алгебра.

JMS
источник

Я не согласен с этим ответом. Использование субъективного априора также является параметризационно-инвариантной процедурой!

Стефан Лоран

Приор Джеффриса совпадает с эталоном Бернардо для одномерного пространства параметров (и «регулярных» моделей). Грубо говоря, это априор, для которого расхождение Кульбака-Лейблера между априором и апостериором максимально. Это количество представляет количество информации, представленной данными. Вот почему априор считается неинформативным: это тот, для которого данные приносят максимальный объем информации.

Кстати, я не знаю, знал ли Джеффрис об этой характеристике своего предшественника?

Стефан Лоран
источник

«Грубо говоря, это априор, для которого расхождение Кульбака-Лейблера между априором и апостериором максимально». Интересно, я этого не знал.

Cam.Davidson.Pilon

(+1) Хороший ответ. Было бы неплохо увидеть некоторые ссылки на некоторые из ваших пунктов ( например, 1 , 2 ).

@Procrastinator В настоящее время я пишу новый пост о неинформативных приорах;) Пожалуйста, подождите, возможно, несколько дней.

Стефан Лоран

Я бы сказал, что это не совсем неинформативно, но минимально информативно. Он кодирует (довольно слабое) предварительное знание, которое, как вы знаете, ваше предыдущее состояние знаний не зависит от его параметризации (например, единиц измерения). Если бы ваш предыдущий уровень знаний был точно нулевым, вы бы не знали, что ваш предшествующий уровень инвариантен к таким преобразованиям.

Дикран Сумчатый
источник

Я запутался. В каком случае вы знаете, что вы должны зависеть от параметризации модели?

Джон Лоуренс Аспден

Если мы хотим предсказать продолжительность жизни как функцию массы тела, используя GLM, мы знаем, что на заключение не следует влиять, взвешиваем ли мы субъект в килограммах или фунтах; если вы используете простую униформу перед весами, вы можете получить разные результаты в зависимости от единиц измерения.

Дикран Marsupial

Это тот случай, когда вы знаете, что это не должно быть затронуто. В каком случае это должно быть?

Джон Лоуренс Аспден

Я думаю, что вы упускаете мою точку зрения. Скажем, мы ничего не знаем об атрибутах, даже о том, что у них есть единицы измерения, для которых анализ должен быть инвариантным. В этом случае ваш предшественник закодировал бы меньше информации о проблеме, чем предыдущий Джеффри, следовательно, предшествующий Джеффри не является полностью неинформативным. Могут или не могут быть ситуации, когда анализ не должен быть инвариантным к некоторому преобразованию, но это не относится к делу.

Дикран Marsupial

NB. Согласно книге «ОШИБКИ» (стр. 83), сам Джеффри называл такие априорные переменные преобразования «минимально информативными», что подразумевает, что он рассматривал их как кодирующие некоторую информацию о проблеме.

Дикран Marsupial