максимальная энтропия или maxent - это статистический принцип, выведенный из теории информации. Распределения, максимизирующие энтропию (при некоторых ограничениях), считаются «максимально неинформативными» с учетом ограничений. Максимальная энтропия может использоваться для нескольких целей, таких как выбор априорной модели, выбор модели выборки или планирование экспериментов.
Я знаю, что энтропия - это мера случайности процесса / переменной, и ее можно определить следующим образом. для случайной величины множестве : - . В книге МакКея об энтропии и теории информации он приводит это утверждение в гл. 2Икс∈X∈X \inH ( X ) =AAAЧАС( X) = ∑Икся∈ A- р ( хя) журнал( р ( хя)...
В этой статье талантливый исследователь Косма Шализи утверждает, что для полного принятия субъективного байесовского взгляда необходимо также принять нефизический результат, согласно которому стрелка времени (заданная потоком энтропии) действительно должна идти назад . В основном это попытка...
Я использовал принцип максимальной энтропии, чтобы оправдать использование нескольких дистрибутивов в различных условиях; однако мне еще не удалось сформулировать статистическую, а не теоретико-информационную интерпретацию максимальной энтропии. Другими словами, что означает максимизация энтропии в...
Я использовал логарифмические нормальные распределения в качестве предыдущих распределений для параметров масштаба (для нормальных распределений, t-распределений и т. Д.), Когда у меня есть приблизительное представление о том, каким должен быть масштаб, но я хочу ошибиться, говоря, что я не знаю...
Для произвольной непрерывной случайной величины, скажем, XXX , всегда ли ее дифференциальная энтропия меньше ∞∞\infty ? (Это нормально, если это −∞−∞-\infty .) Если нет, каково необходимое и достаточное условие, чтобы оно было меньше, чем...
Каково максимальное распределение энтропии для положительной непрерывной переменной с учетом ее первого и второго моментов? Например, гауссово распределение является максимальным распределением энтропии для неограниченной переменной, учитывая ее среднее значение и стандартное отклонение, а...
Я пытаюсь обдумать следующее доказательство того, что гауссиан обладает максимальной энтропией. Как помеченный шаг имеет смысл? Определенная ковариация только фиксирует второй момент. Что происходит с третьим, четвертым, пятым моментами и т. Д.?...
Пусть - совместное распределение двух категориальных переменных с . Скажем, из этого распределения было взято выборок, но нам даны только предельные значения, а именно для : X , Y x , y ∈ { 1 , … , K } n j = 1 , … , Kпх , уpx,yp_{x,y}Икс, YX,YX,Yх , у∈ { 1 , … ,...
Вопрос: Bootstrapping превосходит джекнифинг; однако мне интересно, есть ли случаи, когда джекнифинг является единственным или, по крайней мере, жизнеспособным вариантом для характеристики неопределенности из оценок параметров. Кроме того, в практических ситуациях, насколько предвзятый / неточный...
Я читал дискуссию в Hacker News об использовании стандартного отклонения в отличие от других показателей, таких как среднее абсолютное отклонение. Итак, если бы мы следовали принципу максимальной энтропии, с каким распределением мы бы использовали, если бы знали только среднее значение...
Один из важных вопросов, с которыми сталкиваются синоптики, заключается в том, можно ли прогнозировать данную серию или нет? Я наткнулся на статью Питера Кэтта « Энтропия как априорный показатель прогнозируемости », в которой в качестве относительной меры для определения заданного временного ряда...
Я заинтригован концепцией модели максимальной энтропии Маркова (MEMM), и я думаю об использовании ее для тегера части речи (POS). В настоящее время я использую традиционный классификатор Maximum Entropy (ME), чтобы пометить каждое отдельное слово. При этом используется ряд функций, в том числе два...
Короткий вопрос: почему это правда ?? Длинный вопрос: Очень просто, я пытаюсь выяснить, что оправдывает это первое уравнение. Автор книги, которую я читаю (контекст здесь, если вы хотите, но не обязательно), утверждает следующее: Из-за предположения о почти гауссовости мы можем написать: п0( ξ) =...