Сколько исчисления необходимо, чтобы понять оценку максимального правдоподобия?

Я пытаюсь спланировать учебный план для изучения MLE. Чтобы сделать это, я пытаюсь выяснить, какой минимальный уровень исчисления необходим для понимания MLE.

Достаточно ли понять основы исчисления (то есть найти минимум и максимум функций), чтобы понять MLE?

Чтобы расширить мой комментарий - это зависит. Если вы только пытаетесь понять основы, то возможность найти экстремумы функций дает вам правильный путь (хотя во многих практических случаях MLE вероятность максимизируется численно, и в этом случае вам потребуются некоторые другие навыки, а также некоторые Основное исчисление).

Я оставлю в стороне хорошие простые случаи, когда вы получаете явные алгебраические решения. Тем не менее, исчисление часто очень полезно.

Я буду принимать независимость во всем. Давайте рассмотрим простейший случай оптимизации с 1 параметром. Сначала мы рассмотрим случай, когда мы можем взять производные и отделить функцию параметра и статистику.

Рассмотрим плотность $\rm{Gamma}(\alpha,1)$

$$f_X(x;\alpha) = \frac{1}{\Gamma(\alpha)} x^{\alpha-1} \exp(-x); \,\,\, x>0;\,\,\alpha>0$$

Тогда для выборки размера $n$ вероятность равна

$$\mathcal{L}(\alpha; \mathbf{x}) = \prod_{i=1}^n f_X(x_i;\alpha)$$

и, следовательно, логарифмическая правдоподобность равна

$$\mathcal{l}(\alpha; \mathbf{x}) = \sum_{i=1}^n \ln{f_X(x_i;\alpha)} \\ = \sum_{i=1}^n \ln{\left(\frac{1}{\Gamma(\alpha)} x_i^{\alpha-1} \exp(-x_i)\right)}\\ $$ $$= \sum_{i=1}^n -\ln{\Gamma(\alpha)}+(\alpha-1)\ln{x_i} -x_i\\ $$ $$= -n\ln{\Gamma(\alpha)}+(\alpha-1)S_x -n\bar{x}$$ где$S_x=\sum_{i=1}^n\ln{x_i}$ . Принимая производные,

$$\frac{d}{d\alpha}\mathcal{l}(\alpha; \mathbf{x}) = \frac{d}{d\alpha} \left(-n\ln{\Gamma(\alpha)}+(\alpha-1)S_x -n\bar{x}\right)\\ $$ $$= -n\frac{\Gamma'(\alpha)}{{\Gamma(\alpha)}}+S_x\\ $$ $$= -n\psi(\alpha)+S_x$$

Так что, если мы устанавливаем , что к нулю и попытаться решить для альфа , мы можем получить это: ψ ( α ) = LN G ( х )$\hat{\alpha}$

$$\psi(\hat{\alpha})=\ln{G(\mathbf{x})}\\ $$

$\psi(\cdot)$$G(\cdot)$

$\hat{\alpha}$

$$\psi(\hat{\alpha})=g$$

$g=\ln{G(\mathbf{x})}$

Это не имеет решения с точки зрения элементарных функций, оно должно быть рассчитано численно; по крайней мере, мы смогли получить функцию параметра с одной стороны и функцию данных с другой. Существуют различные алгоритмы нахождения нуля, которые можно использовать, если у вас нет явного способа решения уравнения (даже если вы без производных, например, есть двоичный раздел).

$$f(x; \mu) =\frac{1}{4} \operatorname{sech}^2\!\left(\frac{x-\mu}{2}\right).$$ $\mu$

$\theta$

$$f_X(x;\theta) = \frac{1}{\pi (1 + (x-\theta)^2)}\,.$$

В целом вероятность здесь не имеет уникального локального максимума, а несколько локальных максимумов. Если вы обнаружили на локальный максимум, может быть другой, больше одного в другом месте. (Иногда люди сосредотачиваются на определении локального максимума, ближайшего к медиане, или чего-то подобного.)

$(0,\theta)$

В других случаях пространство параметров может быть дискретным.

Иногда поиск максимума может быть довольно сложным.

И это только выборка проблем с одним параметром. Когда у вас есть несколько параметров, все становится более сложным.

$\mathbb{R}^p \to \mathbb{R}$

Определенное средство с логарифмами определенно будет полезно, поскольку максимизация логарифма вероятности обычно намного проще, чем максимизация самой вероятности.

$\mathbb{R}^p \to \mathbb{R}$