Какова максимальная функция плотности вероятности энтропии для положительной непрерывной переменной заданного среднего значения и стандартного отклонения?

13

Каково максимальное распределение энтропии для положительной непрерывной переменной с учетом ее первого и второго моментов?

Например, гауссово распределение является максимальным распределением энтропии для неограниченной переменной, учитывая ее среднее значение и стандартное отклонение, а гамма-распределение является максимальным распределением энтропии для положительной переменной, учитывая ее среднее значение и среднее значение ее логарифма.

becko
источник

Ответы:

13

Можно просто использовать теорему Больцмана, которая содержится в той самой статье Википедии, на которую вы указываете .

Обратите внимание, что указание среднего значения и дисперсии эквивалентно указанию первых двух необработанных моментов - каждый определяет другой (на самом деле это не обязательно вызывать, поскольку мы можем применить теорему непосредственно к среднему значению и дисперсии, просто так немного проще ).

Затем теорема устанавливает, что плотность должна иметь вид:

f(x)=cexp(λ1x+λ2x2) for all x0

Интегрируемость по положительной действительной прямой будет ограничивать до 0 , и я думаю, что накладывает некоторые ограничения на отношения между λ s (которые, вероятно, будут выполняться автоматически при запуске с заданного среднего значения и дисперсии, а не необработанных моментов).λ20λ

К моему удивлению (так как я не ожидал, что когда начну этот ответ), это оставляет нас с усеченным нормальным распределением.

Как это бывает, я не думаю, что использовал эту теорему раньше, поэтому критика или полезные советы по поводу всего, что я не учел или не учел, приветствовались бы.

Glen_b - Восстановить Монику
источник
+1 Спасибо. Кажется, в порядке. Когда я читал статью в Википедии, я, похоже, упустил тот факт, что теорема Больцмана применима для всех замкнутых интервалов. Я предполагал, что это применимо только к переменным, идущим от до .
becko
По какой-то причине единообразная базовая мера и полученное усеченное нормальное распределение не полностью убеждают меня: как подчеркивает Фред Шоен, чтобы найти максимальную (относительную) энтропию в непрерывном случае, нам нужна базовая мера или эталонное распределение вероятностей. Поскольку рассматриваемая непрерывная переменная положительна, она может быть масштабной переменной, и базовая мера, пропорциональная 1 / x, затем рекомендует себя по разным причинам (например, групповая инвариантность; см. Книгу Джейнса или книгу Джеффриса). x1/x
pglpm
С помощью этой базовой меры полученное распределение пропорционально но, к сожалению, он ненормализуем (хотя он все еще может быть использован как неподходящий ранее). Учитывая положительность рассматриваемой переменной, возможно, стоит подумать, могут ли моменты ее логарифма иметь больше смысла как носители информации и ограничения максимальной энтропии. Они привели бы к гамма-подобному распределению максимальной энтропии.
1xexp(αxβx2)
pglpm
7

Я хочу сделать ответ @ Glen_b более явным, вот дополнительный ответ только потому, что он не подходит в качестве комментария.

f(x)N(x|1/2λ1/λ2,1/(2λ2))
λ1λ2a1,a2a1=μ,a2=μ2+σ2λ1=μ/σ2,λ2=0.5σ2N(x|μ,σ2)

x>xminλ1,21/cμσ2xmin=0xmin

a1,a2λ1,2 numerically and plug in the solutions into the general equation and you are done! The values of λ1,2 from the unbounded case may be a good starting point for the numerical solver.

This question is a duplicate of /math/598608/what-is-the-maximum-entropy-distribution-for-a-continuous-random-variable-on-0

Fred Schoen
источник