Связь между энтропией и SNR

13

В общем, любая форма энропии определяется как неопределенность или случайность. Я полагаю, что в шумной обстановке с увеличением шума энтропия возрастает, поскольку мы более не уверены в содержании желаемого сигнала. Какова связь между энтропией и SNR? С увеличением отношения сигнал / шум мощность шума уменьшается, но это не означает, что информационное содержание сигнала увеличивается !! Содержание информации может оставаться неизменным, значит ли это, что энтропия не затронута?

Риа Джордж
источник

Ответы:

7

Когда вы говорите, что «информационное содержание может оставаться неизменным», вы имеете в виду информацию в общем сигнале или информацию о желаемом сигнале? Надеюсь, это ответит на оба случая. Я знаю энтропию Шеннона гораздо лучше, чем Колмогорова, поэтому я воспользуюсь ею, но, надеюсь, логика переведет.

Допустим, , Ваш суммарный сигнал ( ), состоит из суммы Вашего полезного сигнала и шума вашего компонента . Назовая энтропия . Как вы сказали, шум увеличивает энтропию системы, увеличивая ее сложность. Однако это не обязательно потому, что мы более неуверенны в содержании сигнала, а потому, что в сигнале больше неопределенности в целом. Если SNR измеряет, насколько мы уверены в том, что , то измеряет, насколько хорошо мы можем предсказать будущие состояния на основе текущего состоянияX=S+NXSNHSH(X)XX, Энтропия связана с тем, насколько сложен весь сигнал, независимо от соотношения шума и отсутствия шума.

Если вы увеличиваете SNR, удаляя шум (ослабляя ), вы уменьшаете общую сложность сигнала и, следовательно, его энтропию. Вы не потеряли информацию , передаваемую на , только (предположительно бессмысленных) информации , которую несет . Если - случайный шум, то, очевидно, он не несет значимой информации, но для описания состояния требуется определенное количество информации , определяемое количеством состояний, в которых может находиться N, и вероятностью его нахождения. каждый из тех государств. Это энтропия.NXSNNN

Мы можем взглянуть на два гауссовых распределения с разными дисперсиями, скажем, одно имеет дисперсию а другое - . Просто глядя на уравнение для гауссовского распределения, мы видим, что распределение имеет максимальную вероятность, которая составляет всего th значение вероятности distr. И наоборот, это означает, что существует большая вероятность того, что distr примет значения, отличные от среднего, или что существует большая уверенность в том, что распределение примет значения, близкие к среднему. Таким образом, распределение имеет меньшую энтропию, чем1100Var=100110var=1Var=100Var=1Var=1Var=100 распределение.

Мы установили, что более высокая дисперсия подразумевает более высокую энтропию. Глядя на распространение ошибок, также верно, что (равно для независимых , ). ЕслиVar(X+Y)>=Var(X)+Var(Y)XY , то для энтропии Н , Н ( Х ) = H ( S + N ) . Поскольку H (косвенно) является функцией дисперсии, мы можем немного выдумать, чтобы сказать H ( V a r [ X ] ) = H ( VX=S+NHH(X)=H(S+N)H . Для упрощения скажем, что S и N независимы, поэтому H ( V a r [ X ] ) = H ( V a r [ S ] + V a r [ N ] ) . Улучшение SNR часто означает ослабление мощности шума. Этот новый сигнал с более высоким SNR будет тогда X = S + ( 1H(Var[X])=H(Var[S+N])SNH(Var[X])=H(Var[S]+Var[N]), дляk>1. Тогда энтропия становитсяH(Var[X])=H(Var[S]+(1/k)2Var[N]). kбольше1, так чтоVar[N]будет уменьшаться при ослаблении N. ЕслиVaX=S+(1k)Nk>1H(Var[X])=H(Var[S]+(1/k)2Var[N])k1Var[N] уменьшается, так же как и V a r [ S + N ] , и, следовательно, V a r [ X ] , что приводит к уменьшению H ( X ) .Var[N]Var[S+N]Var[X]H(X)

Не очень кратко, извините. Короче говоря, энтропия уменьшается, если вы увеличиваете SNR, но вы ничего не сделали с информацией S. Я не могу найти источники прямо сейчас, но есть метод для вычисления SNR и взаимной информации (двумерная мера, подобная энтропии) друг от друга. Возможно, главный вывод заключается в том, что SNR и энтропия не измеряют одно и то же.XS

dpbont
источник
Спасибо за детали, было бы действительно здорово, если бы была ссылка на небольшой анализ, который вы сделали, поскольку мне нужно представить эту связь между энтропией и SNR в документе и, следовательно, цитатой.
Риа Джордж
Мой анализ довольно неформальный; он слишком полагается на интуицию / логику, чтобы претендовать на какую-либо строгость. Слабым местом, которое я сразу вижу, является утверждение, что увеличение SNR эквивалентно уменьшению общей дисперсии. Это утверждение верно, если вы увеличиваете SNR, ослабляя шум, но не обязательно, если вы увеличиваете мощность сигнала (потому что это может увеличить дисперсию сигнала ==> общую дисперсию ==> энтропию). Впрочем, есть и другой способ прийти к такому выводу. Я думаю, что отношения между MI и SNR пришли из Schloegl 2010 "Адаптивные методы в исследованиях BCI - вводное
руководство
X
Два вопроса. 1) Когда вы говорите, что SNR увеличивается, вы имеете в виду SNR предполагаемого сигнала? (Я так полагаю.) 2) Что происходит с вашей ошибкой, когда энтропия ошибки увеличивается? Вообще говоря, увеличение энтропии означает либо увеличение дисперсии / снижение предсказуемости. Возможно, я мог бы представить ситуацию, когда ваша дисперсия ошибок увеличивается, но вы устраняете ошибку ошибок (которая может увеличить энтропию ошибок, но уменьшить ошибку).
dpbont
X=S+NNz(t)=X(t)(a1X(t1)+b1X(t2))X(t)N
1

Вот цитата, [1, p. 186]чтобы вы, OP или Googler, начали:

H(number of active components in data)×logSNR

H

[1] D. Sivia and J. Skilling, Data analysis: a Bayesian tutorial. OUP Oxford, 2006
Marnix
источник