Почему люди используют термин «вес доказательств» и чем он отличается от «точечной взаимной информации»?

Здесь «вес доказательств» (WOE) - это общий термин в опубликованной научной и политической литературе, чаще всего встречающийся в контексте оценки риска, определяемый как:

где - доказательство, h - гипотеза.$e$$h$

Теперь я хочу знать, в чем главное отличие PMI (точечная взаимная информация).

Несмотря на то, что они похожи, они совершенно разные вещи. Давайте начнем с основных отличий.

• - что-то другое в PMI и в WOE$h$
  Обратите внимание на термин в PMI. Это означает, что h является случайной величиной, из которой вы можете вычислить вероятность. Для байесовской системы это не проблема, но если вы не верите, что гипотеза может иметь вероятностьаприори,вы даже не можете написать PMI для гипотезы и доказательства. В WOE h является параметром распределения, а выражения всегда определены.$p(h)$$h$$h$

• PMI симметричен, WOE
  нетривиально, . Однако w ( h : e ) = log p ( h | e ) / p ( h | ˉ e ) не нужно определять из-за термина ˉ e . Даже если это так, оно обычно не равно w ( e : $pmi(e,h) = pmi(h,e)$$w(h:e) = \log p(h|e)/p(h|\bar{e})$$\bar{e}$ .$w(e:h)$

Кроме этого, WOE и PMI имеют сходство.

Вес доказательств говорит о том, сколько доказательств говорит в пользу гипотезы. Если это 0, это означает, что он не говорит ни за, ни против. Чем она выше, тем больше она подтверждает гипотезу , и чем она ниже, тем больше она проверяет ˉ h .$h$$\bar{h}$

Взаимная информация количественно определяет, как возникновение события ( или h ) что-то говорит о возникновении другого события. Если это 0, события независимы, и возникновение одного ничего не говорит о другом. Чем выше, тем чаще они встречаются, и чем ниже, тем больше они взаимоисключающие.$e$$h$

Как насчет случаев, когда гипотеза также является случайной величиной, и оба варианта верны? К примеру , в communiction над бинарным каналом с шумом, гипотеза ч излучаемым сигнал для декодирования и доказательство принимаемого сигнала. Скажем , что вероятность переворачивания составляет +1 / +1000 , так что если вы получаете$h$$h$$1/1000$ , то WOE для 1 является журнал 0,999 / 0,001 = 6,90 . PMI, с другой стороны, зависит от вероятности испускания 1 . Вы можете проверить, что когда вероятность испускания 1 стремится к 0, PMI стремится к$1$$1$$\log 0.999/0.001 = 6.90$$1$$1$$6.90$в то время как он стремится к когда вероятность испускания 1 стремится к 1 .$0$$1$$1$

Это парадоксальное поведение иллюстрирует две вещи:

1. Ни один из них не подходит, чтобы сделать предположение об эмиссии. Если вероятность испускания падает ниже 1 / 1000 , тоскорее всегоизлучение 0 даже при получении 1 . Однако для малых вероятностей испускания 1 и WOE, и PMI близки к 6,90 .$1$$1/1000$$0$$1$$1$$6.90$

2. PMI - это получение информации (Шеннона) над реализацией гипотезы, если гипотеза почти уверена, то никакой информации не получается. WOE - это обновление наших предыдущих коэффициентов , которое не зависит от значения этих коэффициентов.