Что происходит с отношением правдоподобия, когда все больше и больше данных собирается?

Пусть $f$ , $g$ и $h$ быть плотность и предположим, что $x_i \sim h$ , $i \in \mathbb{N}$ . Что происходит с отношением правдоподобия

$$\prod_{i=1}^n \frac{f(x_i)}{g(x_i)}$$ при$n \rightarrow \infty$? (Это сходится? К чему?)

Например, мы можем предположить, что $h = g$ . Общий случай также представляет интерес.

Если взять логарифм этого произведения, и превращает его в среднее значение ˉ r n=

$${\mathfrak{r}}=\log \prod_{i=1}^n \frac{f(x_i)}{g(x_i)} = \sum_{i=1}^n \log\frac{f(x_i)}{g(x_i)}$$ применяется закон больших чисел, следовательно, получается почти уверенная сходимость ˉ r n a.s. ⟶ Eh[logf(X $$\bar{\mathfrak{r}}_n=\frac{1}{n}\sum_{i=1}^n \log\frac{f(x_i)}{g(x_i)}$$ при условии, что этот интеграл хорошо определен [контрпримеры легко найти]. $$\bar{\mathfrak{r}}_n\stackrel{\text{a.s.}}{\longrightarrow}\mathbb{E}_h\left[\log \frac{f(X)}{g(X)}\right]=\int_\mathfrak{X} \log\frac{f(x)}{g(x)}\,h(x)\,\text{d}x$$

Например, если , г и ч являются плотности для нормальных распределений с средством μ 1 , μ 2 , и нулю, соответственно, все с дисперсией одного, значение ∫ X лог - F ( х $f$$g$$h$$\mu_1$$\mu_2$ равно ∫ X { ( x - μ 1 ) 2 - ( x - μ 2 2 )

$$\int_\mathfrak{X} \log\frac{f(x)}{g(x)}\,h(x)\,\text{d}x$$ $$\int_\mathfrak{X} \{(x-\mu_1)^2-(x-\mu^2_2)\}\,\varphi(x)\,\text{d}x= \mu_1^2-\mu^2_2\,.$$

Отметим также, что без усреднения произведение почти наверняка сходится к нулю (когдаxi∼h(x

$$\prod_{i=1}^n \frac{f(x_i)}{h(x_i)}$$ $x_i\sim h(x)\,$). В то время как произведение почти наверняка сходится к нулю или бесконечности в зависимости от того,ближелиgилиfкhв смысле дивергенции Кульбака-Лейблера (когдаxi∼h(x $$\prod_{i=1}^n \frac{f(x_i)}{g(x_i)}$$ $g$$f$$h$$x_i\sim h(x)\,$).

$Z_n = \prod^n_i \frac{p(x)}{q(x)}$

$$W_n = \frac{1}{n}log(Z_n) = \frac{1}{n}\sum_i^n log(\frac{p(x)}{q(x)})$$ $$\lim_{n \rightarrow \infty} W_n = E_{q(x)}[log(\frac{p(x)}{q(x)})] = \int_\mathcal{X} log(\frac{p(x)}{q(x)})q(x)dx$$

$log(a) < a-1 \ \forall a > 0$ $a \neq 1$$\frac{p(x)}{q(x)} > 0$$p(x) \neq q(x)$

$$W_n \rightarrow \int_\mathcal{X} log(\frac{p(x)}{q(x)})q(x)dx < \int_\mathcal{X} (\frac{p(x)}{q(x)} - 1)q(x)dx = \int_\mathcal{X} p(x)dx - \int_\mathcal{X} q(x)dx = 1 - 1 = 0$$ $$\lim_{n \rightarrow \infty} W_n < 0 \implies \lim_{n \rightarrow \infty} \frac{1}{n}log(Z_n) < 0 \implies \lim_{n \rightarrow \infty} n \cdot \frac{1}{n}log(Z_n) = -\infty \\ \implies \lim_{n \rightarrow \infty} log(Z_n) = -\infty \\ \implies \lim_{n \rightarrow \infty} Z_n = 0 \ \blacksquare$$