Какие распределения имеют замкнутые решения для оценки максимального правдоподобия?

Какие распределения имеют решения в замкнутой форме для оценки максимального правдоподобия параметров из выборки независимых наблюдений?

Без какой-либо заметной потери общности мы можем предположить, что плотность вероятности (или масса) для любого наблюдения (из наблюдений) строго положительна, что позволяет нам записать ее как экспоненциальную$f(x_i)$$x_i$$n$

$$f(x_i) = \exp{(g(x_i,\theta))}$$

для вектора параметров .$\theta = (\theta_j)$

Приравнивая градиент логарифмической функции правдоподобия к нулю (который находит стационарные точки правдоподобия, среди которых будут все внутренние глобальные максимумы, если таковые существуют), дает набор уравнений вида

$$\sum_i\frac{d g(x_i, \theta)}{d\theta_j} = 0,$$

один для каждого . Для любого из них , чтобы иметь готовое решение, мы хотели бы, чтобы иметь возможность отделить условия от условий . (Все вытекает из этой ключевой идеи, мотивированной принципом математической лени : выполняйте как можно меньше работы; думайте заранее, прежде чем вычислять; сначала займитесь простыми версиями сложных задач.) Самый общий способ сделать это - взять уравнения форма$j$$x_i$$\theta$

$$\sum_i \left(\eta_j(\theta) \tau_j(x_i) - \alpha_j(\theta)\right) = \eta_j(\theta)\sum_i \tau_j(x_i) - n \alpha_j(\theta)$$

для известных функций $\eta_j$ , $\tau_j$ и $\alpha_j$ , для которых решение получается путем решения уравнений уравнения

$$\frac{n\alpha_j(\theta)}{\eta_j(\theta)}= \sum_i \tau_j(x_i)$$

для . В общем случае их будет трудно решить, но при условии, что набор значений даст полную информацию о , мы могли бы просто используйте этот вектор вместо самой (таким образом, несколько обобщая идею решения "закрытой формы", но с высокой производительностью). В таком случае интегрирование по дает( n α j ( θ $\theta$θθθ$\left(\frac{n\alpha_j(\theta)}{\eta_j(\theta)}\right)$$\theta$ $\theta$$\theta_j$

$$g(x, \theta) = \tau_j(x)\int^\theta \eta_j(\theta) d\theta_j - \int^\theta \alpha_j(\theta) d\theta_j + B(x, \theta_j')$$

(где обозначает все компоненты кроме ). Поскольку левая часть функционально не зависит от , мы должны иметь это для некоторой фиксированной функции ; что вообще не должен зависеть от ; и являются производными некоторой функции а являются производными некоторой другой функции , причем обе они функционально независимы от данных. Откуда & thetas ; & thetas ; J & thetas ; J τ J ( х ) = Т ( х ) Т Б & thetas ; п J Н ( & thetas ; ) α J ( & thetas ; $\theta_j'$$\theta$$\theta_j$$\theta_j$$\tau_j(x)=T(x)$$T$$B$$\theta$$\eta_j$$H(\theta)$$\alpha_j$$A(\theta)$

$$g(x, \theta) = H(\theta)T(x) - A(\theta) + B(x).$$

Плотности, которые можно записать в этой форме, составляют известную семью Купмана-Питмана-Дармуа , или экспоненциальную семью. Он включает в себя важные параметрические семейства, как непрерывные, так и дискретные, в том числе гамма, нормаль, хи-квадрат, пуассон, мультиномиал и многие другие .

Я не знаю, смогу ли я перечислить их все. На ум приходят экспоненциальные, нормальные и биномиальные, и все они попадают в класс экспоненциальных семейств. Экспоненциальное семейство имеет достаточную статистику по экспоненте, и mle часто является хорошей функцией этой достаточной статистики.