Кто придумал термин «эмпирическая энтропия»?

Я знаю работу Шеннона с энтропией, но в последнее время я работал над краткими структурами данных, в которых эмпирическая энтропия часто используется как часть анализа хранилища.

Шеннон определил энтропию информации, создаваемой отдельным источником информации, как , где - вероятность события , например, сгенерированного конкретного символа, и есть возможных событий.$-\sum_{i=1}^k p_i \log{p_i}$$p_i$$i$$k$

Как указывает MCH в комментариях, эмпирическая энтропия является энтропией эмпирического распределения этих событий и поэтому определяется как где - количество наблюдаемых случаев события а - общее количество наблюдаемых событий. Это называется эмпирической энтропией нулевого порядка . Понятие Шеннона об условной энтропии имеет аналогичную эмпирическую версию более высокого порядка .$-\sum_{i=1}^k \frac{n_{i}}{n} \log{\frac{n_{i}}{n}}$$n_{i}$$i$$n$

Шеннон не использовал термин «эмпирическая энтропия», хотя он, безусловно, заслуживает похвалы за эту концепцию. Кто первым использовал эту идею, а кто первым использовал (очень логичное) название эмпирической энтропии для ее описания?

Я заинтересован в «эмпирической энтропии», как вы, и самая ранняя статья, которую я нашел, была из Косараджу, как пользователь «Марцио Де Биаси», сказал в своем комментарии.

Но, по моему мнению, реальные определения «эмпирической энтропии» будут сделаны позже путем обобщения первых понятий:

1. «Большие алфавиты и несжимаемость» Трэвиса Гэги (2008)
2. «Эмпирическая энтропия» Пауля М.Б. Витани (2011)

Gagie перефразировать определение $k$3-й порядок эмпирической энтропии для:

• $H_{k}(w)=\frac{1}{|w|}\min\limits_{Q}\left\{\log\large\frac{1}{P(Q=w)}\right\}$

где - марковский процесс го порядка. Он также показал, что это определение эквивалентно предыдущему. Следующим шагом Витани было обобщение на произвольные классы процессов (не только марковских):$Q$$k$

• $H(w|\mathcal{X})=\min\limits_{X}\left\{K(X)+H(X):\;\left|H(X)-\log\large\frac{1}{P(X=w)}\right|\normalsize\;is\;minimal!\right\}$

где - класс разрешенных процессов, а - колмогоровская сложность. Если мы выберем классом марковских процессов го порядка, создающих последовательностьслучайные величины и игнорирование колмогоровской сложности, чем это также приводит к определению Гэги (умноженному на ).$\mathcal{X}$$K(X)$
$\mathcal{X}$$k$$|w|$$|w|$