Оценки максимального правдоподобия для усеченного распределения

Рассмотрим независимых выборок полученных из случайной величины которая, как предполагается, следует усеченному распределению (например, усеченному нормальному распределению ) известных (конечных) минимальных и максимальных значений и но неизвестных параметров и . Если следовали неусеченной распределение, максимального правдоподобия оценок и для , и из будет выборочное среднее $N$ $S$ $X$ $a$ $b$ $\mu$ $\sigma^2$ $X$ $\widehat\mu$ $\widehat\sigma^2$ $\mu$ $\sigma^2$ $S$ и дисперсия выборки $\widehat\mu = \frac{1}{N} \sum_i S_i$ . Однако для усеченного распределения выборочная дисперсия, определенная таким образом, ограниченапоэтому она не всегда является последовательной оценкой: дляона не может сходиться по вероятности ккакуходит в бесконечность. Таким образом, кажетсячто ине являются оценками максимального правдоподобия из $\widehat\sigma^2 = \frac{1}{N} \sum_i (S_i - \widehat\mu)^2$ $(b-a)^2$ $\sigma^2 > (b-a)^2$ $\sigma^2$ $N$ $\widehat\mu$ $\widehat\sigma^2$ $\mu$ и для усеченного распределения. Конечно, этого следует ожидать, поскольку параметры и усеченного нормального распределения не являются его средним значением и дисперсией. $\sigma^2$ $\mu$ $\sigma^2$

Итак, каковы оценки максимального правдоподобия параметров и усеченного распределения известных минимальных и максимальных значений? $\mu$ $\sigma$

distributions estimation mathematical-statistics maximum-likelihood truncation a3nm
источник

Вы уверены в своем анализе? Я думаю, что вы делаете неверное предположение: для усеченной ситуации MLE для

больше не является выборочной дисперсией (и, как правило, MLE для

больше не является средним для выборки)!

σ^{2}

$\sigma^2$

μ

$\mu$

whuber

whuber: я знаю, это как раз мой вопрос: каковы MLE

в усеченном случае? Добавив предложение, чтобы настаивать на этом.

σ^{2}

$\sigma^2$

μ

$\mu$

a3nm

Нет закрытого решения. Все, что вы можете сделать, это минимизировать вероятность регистрации. Но это качественно не отличается от многих других моделей, таких как логистическая регрессия, которые также не имеют решения в замкнутой форме.

whuber

whuber: Если это правда, это довольно обидно. Есть ли у вас ссылки на отсутствие закрытых решений? Существуют ли оценки в замкнутой форме, которые не имеют максимальной вероятности, но, по крайней мере, последовательны (и необязательно объективны?).

a3nm

@whuber: Можете ли вы хотя бы упростить выборки до достаточной статистики, чтобы минимизация была быстрой?

Нил Дж

Ответы:

Рассмотрим любое семейство масштабов местоположения, определяемое «стандартным» распределением , $F$

Ω_{F} = {F_{(μ, σ)} : x \to F (\frac{x - μ}{σ}) ∣ σ > 0} .

$\Omega_F = \left\{F_{(\mu, \sigma)}: x \to F\left(\frac{x-\mu}{\sigma}\right) \mid \sigma \gt 0\right\}.$

Предполагая, что дифференцируемо, мы легко находим, что PDF-файлы $F$ . $\frac{1}{\sigma}f\left((x-\mu)/\sigma\right)dx$

Усечение этих дистрибутивов для ограничения их поддержки между и , , означает, что файлы PDF заменяются на $a$ $b$ $a \lt b$

f_{(μ, σ; a, b)} (x) = \frac{f (\frac{x - μ}{σ}) d x}{σ C (μ, σ, a, b)}, a \leq x \leq b

$f_{(\mu, \sigma; a,b)}(x) = \frac{f\left(\frac{x-\mu}{\sigma}\right)dx}{\sigma C(\mu, \sigma, a, b)}, a \le x \le b$

$x$ $C(\mu, \sigma, a, b) = F_{(\mu,\sigma)}(b) - F_{(\mu,\sigma)}(a)$ $f_{(\mu, \sigma; a, b)}$ $C$ $1$ $x_i$

Λ (μ, σ) = \sum_{i} [\log f (\frac{x_{i} - μ}{σ}) - \log σ - \log C (μ, σ, a, b)] .

$\Lambda(\mu, \sigma) = \sum_i \left[\log{f\left(\frac{x_i-\mu}{\sigma}\right)} - \log{\sigma}-\log{C(\mu, \sigma, a, b)}\right].$

$\sigma=0$

\begin{aligned} 0 & = \frac{\partial Λ}{\partial μ} & = \sum_{i} [\frac{- f_{μ} (\frac{x_{i} - μ}{σ})}{f (\frac{x_{i} - μ}{σ})} - \frac{C_{μ} (μ, σ, a, b)}{C (μ, σ, a, b)}] \\ 0 & = \frac{\partial Λ}{\partial σ} & = \sum_{i} [\frac{- f_{σ} (\frac{x_{i} - μ}{σ})}{σ^{2} f (\frac{x_{i} - μ}{σ})} - \frac{1}{σ} - \frac{C_{σ} (μ, σ, a, b)}{C (μ, σ, a, b)}] \end{aligned}

$\eqalign{ 0 &= \frac{\partial\Lambda}{\partial\mu} &= \sum_i \left[\frac{-f_\mu\left(\frac{x_i-\mu}{\sigma}\right)}{f\left(\frac{x_i-\mu}{\sigma}\right)} -\frac{C_\mu(\mu,\sigma,a,b)}{C(\mu,\sigma,a,b)}\right] \\ 0 &= \frac{\partial\Lambda}{\partial\sigma} &= \sum_i \left[\frac{-f_\sigma\left(\frac{x_i-\mu}{\sigma}\right)}{\sigma^2f\left(\frac{x_i-\mu}{\sigma}\right)} -\frac{1}{\sigma}-\frac{C_\sigma(\mu,\sigma,a,b)}{C(\mu,\sigma,a,b)}\right] }$

$a$ $b$ $nC_\mu(\mu, \sigma, a, b)/C(\mu, \sigma,a,b)$ $A(\mu,\sigma)$ $nC_\sigma(\mu, \sigma, a, b)/C(\mu, \sigma,a,b)$ $B(\mu, \sigma)$

\begin{aligned} - A (μ, σ) & = \sum_{i} \frac{f_{μ} (\frac{x_{i} - μ}{σ})}{f (\frac{x_{i} - μ}{σ})} \\ - σ^{2} B (μ, σ) - n σ & = \sum_{i} \frac{f_{σ} (\frac{x_{i} - μ}{σ})}{f (\frac{x_{i} - μ}{σ})} \end{aligned}

$\eqalign{ -A(\mu,\sigma) &= \sum_i \frac{f_\mu\left(\frac{x_i-\mu}{\sigma}\right)}{f\left(\frac{x_i-\mu}{\sigma}\right)} \\ -\sigma^2 B(\mu,\sigma) - n\sigma &= \sum_i \frac{f_\sigma\left(\frac{x_i-\mu}{\sigma}\right)}{f\left(\frac{x_i-\mu}{\sigma}\right)} }$

Сравнивая их с ситуацией отсутствия усечения, видно, что

Любой достаточной статистики для исходной задачи достаточно для усеченной задачи (потому что правые части не изменились).
$A$ $B$ $\mu$ $\sigma$

$C(\mu,\sigma,a,b)$

Whuber
источник

f_{μ}

$f_\mu$

f_{σ}

$f_\sigma$

C_{μ}

$C_\mu$

C_{σ}

$C_\sigma$

x \in [a, b]

$x \in [a, b]$

C_{μ} = \frac{\partial}{\partial μ} C (μ, σ, a, b)

$C_\mu = \frac{\partial}{\partial\mu}C(\mu,\sigma,a,b)$

Кроме того, поскольку ваш ответ более общий, чем я ожидал, я отредактировал свой вопрос, чтобы меньше настаивать на случае нормальных распределений. Еще раз спасибо за ваши усилия.

a3nm

Это было легче объяснить на этом уровне общности по сравнению с фокусировкой на нормальных распределениях! Вычисление производных и показ точной формы CDF - это ненужные отвлекающие факторы (хотя они полезны, когда вы начинаете фактически кодировать численное решение).

whuber

Спасибо за исправление! Вы пропустили один из них; Можете ли вы просмотреть мои изменения?

2013 года