Преобразование (нормализация) очень малых значений вероятности в вероятность

Я пишу алгоритм, в котором, учитывая модель, я вычисляю вероятности для списка наборов данных, а затем должен нормализовать (для вероятности) каждый из вероятностей. Таким образом, что-то вроде [0.00043, 0.00004, 0.00321] может быть преобразовано в что-то вроде [0.2, 0.03, 0.77].

Моя проблема заключается в том, что вероятность журналов, с которыми я работаю, довольно мала (например, в пространстве журналов значения равны -269647.432, -231444.981 и т. Д.). В моем коде C ++, когда я пытаюсь добавить два из них (взяв их показатель степени), я получаю ответ «Inf». Я попытался добавить их в пространство журнала (Суммирование / Вычитание журнала) , но снова наткнулся на ту же проблему.

Кто-нибудь может поделиться своим мнением по этому поводу?

Вычтите максимальный логарифм из всех журналов. Отбросьте все результаты, которые настолько отрицательны, что потеряют экспоненциальный результат. (Их вероятность для всех практических целей равна нулю.)

Действительно, если вам нужна относительная точность (например, для цифр точности) и у вас вероятностей, отбросьте любой результат, меньший логарифма . Затем продолжайте как обычно, чтобы возвести в степень полученные значения и разделите каждое из них на сумму всех экспонент.ϵ = 10 - д д н ϵ /$\epsilon$$\epsilon = 10^{-d}$$d$$n$$\epsilon/n$

Для тех, кто любит формулы, пусть логарифмы будут с . Для логарифмов к основанию определитеλ n = max ( λ i ) b > $\lambda_1, \lambda_2, \ldots, \lambda_n$$\lambda_n = \max(\lambda_i)$$b\gt 1$

Нормализованные вероятности равны , Это работает, потому что замена всех остальных заниженных на ноль приводит к общей ошибке не более тогда как и все неотрицательны, знаменатель , откуда общая относительная ошибка, обусловленная правилом замены нуля, строго меньше , по желанию. i = 1 , 2 , … , n . α i ( n - 1 ) ϵ / n < ϵ α n = b λ n - λ n = b 0 = 1 α i A = ∑ j α j ≥ 1 ( ( n - $\alpha_i / \sum_{j=1}^n \alpha_j$$i = 1, 2, \ldots, n.$$\alpha_i$$(n-1)\epsilon/n\lt \epsilon$$\alpha_n=b^{\lambda_n-\lambda_n}=b^0=1$$\alpha_i$$A = \sum_j \alpha_j \ge 1$$\left((n-1)\epsilon/n \right) / A \lt \epsilon$

Чтобы избежать слишком большой ошибки округления, вычислите сумму, начиная с наименьших значений . Это будет сделано автоматически при первой сортировке в порядке возрастания. Это соображение только для очень больших .λ i$\alpha_i$$\lambda_i$$n$

Кстати, этот рецепт предполагал, что база журналов больше . Для баз меньших , сначала сверните все журналы и продолжайте, как если бы база была равна .б 1 1 /$1$$b$$1$$1/b$

пример

Пусть будет три значения с логарифмами (скажем, натуральными), равными и Последний самый большой; вычитание его из каждого значения дает и- 231444,981 , - 231444,699. - 38202,733 , - 0,282 , $-269647.432,$ $-231444.981,$$-231444.699.$$-38202.733,$ $-0.282,$$0.$

Предположим, вы хотите, чтобы точность была сопоставима с двойными значениями IEEE (около 16 десятичных цифр), чтобы и . (Вы не можете на самом деле достичь этой точности, потому что задается только тремя значащими цифрами, но это нормально: мы отбрасываем только те значения, которые гарантированно не повлияют на лучшую точность, которую вы хотите, и точность, которую вы на самом деле иметь.) Вычислить = = Первое из трех различий, меньше, чем это, поэтому отбросьте его, оставив только и их дает n = 3 - 0,282 log ( ϵ / n ) log ( 10 $\epsilon=10^{-16}$$n=3$$-0.282$$\log(\epsilon/n)$-37,93997. -38202.733,-0,2820.ехр(-0,282)=0,754ехр(0)=100,754 / (1+0,754)$\log(10^{-16}) - \log(3)$$-37.93997.$$-38202.733,$$-0.282$$0.$$\exp(-0.282) = 0.754$ и (конечно). Нормализованные значения - по порядку - для того, что вы выбросили, и .$\exp(0)=1$$0$1 / ( 1 + 0,754 ) = $0.754 / (1 + 0.754) = 0.430$$1/(1+0.754)=0.570$