Я столкнулся с недоумением термина, который относится к усредненной по логарифму обратной вероятности на невидимых данных. Статья Википедии о недоумении не дает интуитивное значение для того же.

Эта мера недоумения использовалась в статье pLSA .

Кто-нибудь может объяснить необходимость и интуитивное значение меры недоумения ?

Вы смотрели статью Wikipedia о недоумении . Это дает недоумение дискретного распределения как

$$2^{-\sum_x p(x)\log_2 p(x)}$$

который также может быть записан как

$$\exp\left({\sum_x p(x)\log_e \frac{1}{p(x)}}\right)$$

т.е. как средневзвешенное геометрическое из обратных вероятностей. Для непрерывного распределения сумма превратится в интеграл.

В статье также дается способ оценки растерянности модели с использованием фрагментов тестовых данных.$N$

$$2^{-\sum_{i=1}^N \frac{1}{N} \log_2 q(x_i)}$$

что также может быть написано

$$\exp\left(\frac{{\sum_{i=1}^N \log_e \left(\dfrac{1}{q(x_i)}\right)}}{N}\right) \text{ or } \sqrt[N]{\prod_{i=1}^N \frac{1}{q(x_i)}}$$

или множеством других способов, и это должно сделать еще более ясным, откуда взялась «средняя логарифмическая обратная вероятность».

Я нашел это довольно интуитивным:

Недоумение того, что вы оцениваете, по данным, по которым вы его оцениваете, как бы говорит вам: «эта вещь правильна так же часто, как и кубик с двусторонней стороны».

http://planspace.org/2013/09/23/perplexity-what-it-is-and-what-yours-is/

Я тоже удивился этому. Первое объяснение неплохое, но вот мои 2 натса для чего бы то ни было.

---

Прежде всего, недоумение не имеет ничего общего с характеристикой того, как часто вы угадываете что-то правильно. Это больше связано с характеристикой сложности стохастической последовательности.

Мы смотрим на величину,

$$2^{-\sum_x p(x)\log_2 p(x)}$$

Давайте сначала отменим журнал и возведение в степень.

$$2^{-\sum_{x} p(x)\log_2 p(x)}=\frac{1}{\prod_{x} p(x)^{p(x)}}$$

Я думаю, что стоит отметить, что недоумение инвариантно с базой, которую вы используете для определения энтропии. Таким образом, в этом смысле недоумение бесконечно более уникально / менее произвольно, чем энтропия как измерение.

Отношение к кости

$$\frac{1}{\frac{1}{2}^\frac{1}{2}\times\frac{1}{2}^\frac{1}{2}}=2$$

$N$

$$\frac{1}{\left(\frac{1}{N}^\frac{1}{N}\right)^N}=N$$

Таким образом, недоумение представляет количество сторон справедливого кубика, которое при броске создает последовательность с той же энтропией, что и заданное вами распределение вероятностей.

Количество штатов

$N$$N+1$$N$$\epsilon$$N$$N + 1$$\epsilon$$N$$x$$p_x$$N$

$$p^\prime_x=p_x\left(1-\epsilon\right)$$

$$\frac{1}{\epsilon^\epsilon\prod_x^N {p^\prime_x}^{p^\prime_x}}=\frac{1}{\epsilon^\epsilon\prod_x^N {\left(p_x\left(1-\epsilon\right)\right)}^{p_x\left(1-\epsilon\right)}} = \frac{1}{\epsilon^\epsilon\prod_x^N p_x^{p_x\left(1-\epsilon\right)} {\left(1-\epsilon\right)}^{p_x\left(1-\epsilon\right)}} = \frac{1}{\epsilon^\epsilon{\left(1-\epsilon\right)}^{\left(1-\epsilon\right)}\prod_x^N p_x^{p_x\left(1-\epsilon\right)}}$$

$\epsilon\rightarrow 0$

$$\frac{1}{\prod_x^N {p_x}^{p_x}}$$

Таким образом, когда вы заставляете делать прокатку одной стороны матрицы все более маловероятной, недоумение заканчивается тем, что эта сторона не существует.

$X$$X'$

$P(X=X') \ge 2^{-H(X)} = \frac{1}{2^{H(X)}} = \frac{1}{\text{perplexity}}$

Чтобы объяснить, недоумение равномерного распределения X это просто | X |, количество элементов. Если мы попытаемся угадать значения, которые получат iid-образцы из равномерного распределения X, просто сделав iid-догадки из X, мы будем правы 1 / | X | = 1 / недоумение времени. Поскольку равномерное распределение сложнее всего угадать значения, мы можем использовать 1 / недоумение как нижнюю границу / эвристическое приближение для того, как часто наши догадки будут правильными.