Скажем, у нас есть функция е:ZN2→ R такой, что
∀ x ∈ZN2е( x ) ∈ {12N,22N, ... ,2N2N} ,
а также
е является распределением, т. е.
Σx ∈ZN2е( х ) = 1,
Энтропия Шеннона f определяется следующим образом:
H(f)=−∑x∈Zn2f(x)log(f(x)).
Позволять ϵбыть постоянным Скажем, мы получилиϵ-шумная версия f(x)т.е. мы получаем функцию f~:Zn2→R такой, что |f~(x)−f(x)|<ϵ для каждого x∈Zn2, Какое влияние шум оказывает на энтропию? То есть мы можем связатьH(f~) "разумной" функцией ϵ а также H(f), такие как:
(1−ϵ)H(f)<H(f~)<(1+ϵ)H(f),
или даже,
(1−ϵcn)dH(f)<H(f~)<(1+ϵcn)dH(f),
для некоторых констант
c,d,
Редактировать: пытаясь почувствовать влияние шума на энтропию Шеннона, любую «разумную» добавку, связанную с H(f~) также было бы очень интересно.