Я натолкнулся на большое количество литературы, в которой пропагандируется использование информационной метрики Фишера в качестве естественной локальной метрики в пространстве распределений вероятностей, а затем ее интеграция для определения расстояний и объемов.
Но действительно ли эти «интегрированные» величины полезны для чего-либо? Я не нашел никаких теоретических обоснований и очень мало практических приложений. Один из них - Гай Ливан работой , где он использует «расстояние Фишера» для классификации документов и еще один является Родригес» ABC Модельного Selection ... где„объем Фишера“используются для выбора модели. Очевидно, что использование «объема информации» дает улучшение «порядков» по сравнению с AIC и BIC для выбора модели, но я не видел каких-либо последующих действий в этой работе.
Теоретическим обоснованием может быть наличие границы обобщения, которая использует эту меру расстояния или объема и лучше, чем границы, полученные из MDL или асимптотических аргументов, или метод, основанный на одной из этих величин, который доказуемо лучше в некоторой разумно практической ситуации, если есть какие-либо результаты такого рода?
источник
Ответы:
На прошлой неделе в Королевском статистическом обществе была прочитана статья о методах MCMC для многообразий Римана, в основном с использованием информационной метрики Фишера: http://www.rss.org.uk/main.asp?page=1836#Oct_13_2010_Meeting
Результаты кажутся многообещающими, хотя, как указывают авторы, во многих интересующих моделях (таких как модели смешивания) информация Фишера не имеет аналитической формы.
источник
Наиболее известным аргументом является то, что метрика Фишера, будучи инвариантной для преобразования координат, может использоваться для формулирования неинформированного априора (Джеффриса априора). Не уверен, что я куплю это!
Менее известно, что иногда эти «интегрированные величины» оказываются расхождениями, и поэтому можно утверждать, что расстояния Фишера генерируют обобщенный набор расхождений (и их свойств).
Но все же мне еще предстоит найти хорошее интуитивное описание информации о рыбаке и ее количествах. Пожалуйста, скажите мне, если вы найдете один.
источник
Причина, по которой "нет продолжения" заключается в том, что очень немногие понимают работу Родригеса на протяжении многих лет. Это важный материал, и я уверен, что мы увидим его в будущем.
Однако некоторые утверждают, что метрика Фишера является лишь приближением 2-го порядка к истинной метрике (например , статья Неймана об установлении энтропийных приоров ), которая фактически определяется расстоянием Кульбака-Либлера (или ее обобщениями) и которая приводит к формулировке Целлера MDI приоры.
источник