При трактовке относительной нормализованной функции полезности как pmf, какова интерпретация энтропии Шеннона или информации Шеннона?

Предположим, что - это набор взаимоисключающих результатов дискретной случайной величины, а - это функция полезности, где , и т. Д.$\Omega$$f$$0 < f(\omega) \leq 1$$\sum_\Omega f(\omega) = 1$

Когда равномерно распределена по а - функция вероятностной массы , энтропия Шеннона равна максимизируется ( , и когда один элемент имеет все масс «s, энтропия Шеннона минимизируется ( , на самом деле). Это соответствует интуиции о неожиданности (или уменьшении неопределенности ) и результатах и неопределенности (или ожидаемой неожиданности ) и случайных переменных:$f$$\Omega$$f$$H(\Omega) = \sum_{\Omega}f(\omega)log\frac{1}{f(\omega)}$$=log|\Omega|)$$\Omega$$f$$0$

• Когда равномерно распределено, неопределенность максимизируется, и чем больше результатов для равномерного распределения массы, тем более неопределенной мы являемся.$f$
• Когда имеет все его масса сосредоточена в одном исходе, у нас нет никакой неопределенности.$f$
• Когда мы назначаем результат с вероятностью , мы не получаем никакой информации («не удивлены»), когда мы фактически наблюдаем это.$1$
• Когда мы назначаем результат вероятности ближе и ближе к , наблюдение за его фактическим происходящим становится все более информативным («удивительным»).$0$

(Конечно, все это ничего не говорит о гораздо более конкретной - но менее эпистемологической - интерпретации кодирования информации / энтропии Шеннона.)

Однако, когда имеет интерпретацию функции полезности , существует ли чувственная интерпретация или ? Мне кажется, что может быть:л о г $f$ ∑f(ω)log$log\frac{1}{f(\omega)}$$\sum f(\omega)log\frac{1}{f(\omega)}$

• если как PMF представляет собой равномерное распределение по , то как функция полезности соответствует безразличию к результатам, которые не могут быть больше *Ω $f$$\Omega$$f$
• функция полезности, в которой у одного результата есть вся полезность, а у остальных нет ни одной (как бы полезна ни была полезность), соответствует очень сильным относительным предпочтениям - отсутствию равнодушия.

Есть ли ссылка на это? Я что-то упустил из-за ограничений на сравнение функций вероятностной массы и нормализованных относительных утилит по дискретным случайным переменным?

* Я знаю о кривых безразличия и не понимаю, как они могут относиться к моему вопросу по разным причинам, начиная с моего внимания к категориальному пробному пространству и с того факта, что меня не интересует «безразличие» как таковое, а точнее, как интерпретировать утилиты как вероятности и как интерпретировать функционалы по вероятностям, когда (дискретное) «распределение вероятностей», о котором идет речь, фактически или (дополнительно) имеет интерпретацию функции полезности.

Прежде чем обсуждать энтропию Шеннона, следует обсудить еще один момент: кажется, что вы имеете в виду скорее кардинальную полезность, чем порядковую .

«Нормализованные» функции полезности могут быть выведены, конечно, в обоих случаях. Но понятие «относительное предпочтение» может быть определено и измерено только в контексте основной полезности.

И проблема возникает не в двух крайностях, которые вы описываете, а во всех возможных промежуточных случаях.

Простой пример: предположим, что есть три «результата», (скажем, уровни потребления или три разных товара в каждом количестве). Ваша служебная функция присвоила им значения$A, B, C$

Под порядковой полезностью, это просто говорит нам, что

Конечно, мы можем нормализовать их, разделив на чтобы получить$100$

и ранжирование трех результатов сохраняется

Но под порядковой полезностью мы могли бы очень хорошо использовать другую полезную функцию, которая назначала бы

и получить

Ранжирование одно и то же , так что две функции полезности и W являются эквивалентны под порядковым полезности.$V$$W$

Но в том, что вы описываете, функция полезности представляет различные относительные предпочтения, чем V, и поэтому это не та же функция полезности. Но это имеет смысл только при кардинальной полезности, где предполагается, что количественные сравнения между числами полезности имеют смысл. $W$$V$

Вы знакомы с проблемами, связанными с основной полезностью?

После обмена с ОП в моем другом ответе давайте немного поработаем с его подходом.

Мы имеем дискретную случайную величину с конечным носителем, Х = { х 1 , . , , , Х к } , и вероятность того, функция масс (PMF), Pr ( Х = х я ) = р я , я = 1 , . , , , $X$$X = \{x_1,...,x_k\}$$\Pr(X=x_i)=p_i, i=1,...,k$

Значения в поддержке также входы в вещественнозначной кардинальном функцию полезности, U ( х я ) > $X$ . Затем мы рассмотрим нормированную функцию полезности$u(x_i) > 0\; \forall i$

и нам говорят, что

$w(x_i)$$w(x_i)$

$w(x_i)$

$p_i$$\sum_{i=1}^kp_i=1$

и мы получили общий результат:

$X$

$w(X)$ $E[w(X)]=1/k$

$w(X)$

Но у меня сложилось впечатление, что это не то, что имеет в виду ФП. Скорее, он рассматривает энтропию Шеннона как метрику, которая имеет некоторые желательные алгебраические свойства и, возможно, может компактно измерить значимым образом что-то интересное.

Это было сделано ранее в экономике, особенно в промышленной организации, где были построены индексы концентрации рынка («степень конкуренции / монополистическая структура рынка»). Отмечу два, которые выглядят здесь особенно актуально.

$n$$s_i$

$w(X)$

Encaoua, D. & Jacquemin, A. (1980). Степень монополии, показатели концентрации и угрозы въезда. Международный экономический обзор, 87-105. обеспечивают аксиоматический вывод «допустимых» индексов концентрации, т.е. они определяют свойства, которыми должен обладать такой индекс. Поскольку их подход является абстрактным, я полагаю, что он может быть полезен для того, что ФП хочет изучить и придать смысл.

$v=v*2-0.5$

Таким образом, вам необходимо сначала предоставить значимую шкалу отношения к вашей полезности. Один из способов сделать это - дать интерпретацию естественному уровню полезности 0. Без этой спецификации энтропия не имеет смысла.