Используем ли мы когда-либо оценку максимального правдоподобия?

14

Мне интересно, использовалась ли когда-либо максимальная оценка правдоподобия в статистике. Мы изучаем понятие этого, но мне интересно, когда это фактически используется. Если мы предположим распределение данных, мы найдем два параметра, один для среднего значения и один для дисперсии, но действительно ли вы используете его в реальных ситуациях?

Может кто-нибудь сказать мне простой случай, в котором он используется?

estimation maximum-likelihood user122358
источник

33

Это наиболее распространенный метод оценки.

the

$\textit{the}$

JohnK

3

Я пытался спросить, когда мы не используем MLE

Haitao Du

4

логистическая регрессия. Пуассоновская регрессия. OLS - это MLE, когда ошибки считаются нормальными. Гамма регрессия. Любой классический GLM на самом деле. Оценка среднего от нормальной популяции. Оценка вероятности успеха из серии биномиальных испытаний. Оценка скорости пуассоновских событий. Я мог бы продолжить ...

GoF_Logistic

4

Этот очень узкий поиск нашего сайта приводит к сотням примеров реального использования.

whuber

6

@ hxd1011 Вы не используете MLE, если вы не используете его методы для получения отклонений оценок или вычисления, например, доверительных, прогнозных или допустимых интервалов, даже если используемая вами оценка может оказаться согласованной с оценщиком MLE. Например, вы не используете MLE при запуске любого t-теста. Вы часто не используете его, когда применяете объективные оценки. С философской точки зрения, вы не будете использовать MLE, если вам небезразлична функция потери или у вас есть предварительное распределение.

whuber

25

Мне интересно, использовалась ли когда-либо максимальная оценка правдоподобия в статистике.

Конечно! На самом деле довольно много, но не всегда.

Мы изучаем понятие этого, но мне интересно, когда это фактически используется.

Когда у людей есть параметрическая модель распределения, они довольно часто предпочитают использовать оценку максимального правдоподобия. Когда модель верна, существует ряд полезных свойств оценки максимального правдоподобия.

Для одного примера - использование обобщенных линейных моделей довольно широко распространено, и в этом случае параметры, описывающие среднее значение, оцениваются по максимальной вероятности.

Может случиться так, что некоторые параметры оцениваются по максимальной вероятности, а другие нет. Например, рассмотрим избыточную дисперсию Пуассона GLM - параметр дисперсии не будет оцениваться по максимальной вероятности, поскольку MLE в этом случае бесполезен.

Если мы предположим распределение данных, мы найдем два параметра

Ну, иногда у вас может быть два, но иногда у вас есть один параметр, иногда три или четыре или больше.

один для среднего и один для дисперсии,

Возможно, вы думаете о конкретной модели? Это не всегда так. Рассмотрим оценку параметра экспоненциального распределения, распределения Пуассона или биномиального распределения. В каждом из этих случаев есть один параметр, и дисперсия является функцией параметра, который описывает среднее значение.

Или рассмотрим обобщенное гамма-распределение , которое имеет три параметра. Или бета-распределение с четырьмя параметрами , которое имеет (возможно неудивительно) четыре параметра. Отметим также, что (в зависимости от конкретной параметризации) среднее или дисперсия, или оба могут быть представлены не одним параметром, а функциями нескольких из них.

Например, гамма-распределение, для которого есть три параметризации, которые встречаются довольно часто, и два наиболее распространенных из которых имеют как среднее значение, так и дисперсию, являющиеся функциями двух параметров.

Обычно в регрессионной модели, GLM или модели выживания (среди многих других типов моделей) модель может зависеть от нескольких предикторов, и в этом случае распределение, связанное с каждым наблюдением в рамках модели, может иметь один из своих собственных параметров (или даже несколько параметров), которые связаны со многими переменными предиктора («независимые переменные»).

Glen_b - Восстановить Монику
источник

5

«Когда у людей есть параметрическая модель распределения». Не забывайте непараметрическую оценку максимального правдоподобия, чтобы включить эмпирическое правдоподобие.

Марк Л. Стоун

3

@ Марка Относительно реже, хотя. Я добавлю слово к своему ответу.

Glen_b

Можем ли мы использовать оценку максимального правдоподобия, даже если предположить, что распределение, например, является нормальным? Я думаю, что нам не нужно, но мы все еще можем использовать это, я прав?

user122358

@ user122358 Глен и Марк уже ответили тебе. Вы можете принять распределение или нет. Большую часть времени вы принимаете распределение и, следовательно, функцию вероятности.

HelloWorld,

3

«Когда у людей есть параметрическая модель распределения». Не забудьте полупараметрическую оценку максимального правдоподобия, чтобы включить частичное правдоподобие. ;)

Scortchi - Восстановить Монику

8

Хотя оценки максимального правдоподобия могут выглядеть подозрительно, учитывая предположения о распределении данных, часто используются квази-оценки максимального правдоподобия. Идея состоит в том, чтобы начать с предположения о распределении и решить для MLE, затем удалить явное предположение о распределении и вместо этого посмотреть, как ваша оценка работает в более общих условиях. Таким образом, Quasi MLE просто становится разумным способом получения оценки, и большая часть работы затем выводит свойства оценки. Поскольку допущения о распределении отбрасываются, квази-MLE обычно не обладает хорошими характеристиками эффективности.

$x_1, x_2, ..., x_n$ $X$ $X \sim N (\mu, \sigma^2)$ $\hat\sigma^2 = n^{-1}\sum (x_i - \bar x)^2$ $\hat\sigma^2$

Игорь
источник

Кроме того, вы можете проверить эту тему на интуиции позади Quasi MLE.

Ричард Харди

5

Оценка максимального правдоподобия часто используется в машинном обучении для обучения:

нейронные сети, например, можем ли мы использовать MLE для оценки весов нейронных сетей?
линейная, логистическая регрессия и мультиклассовая логистическая регрессия, например. Почему коэффициенты линейной и логистической регрессии нельзя оценить одним и тем же методом?
условное случайное поле (CRF), например, https://www.coursera.org/learn/probabilistic-graphical-models-3-learning/lecture/oKJ1x/maximum-likelihood-for-conditional-random-fields
скрытая марковская модель (HMM), например https://en.wikipedia.org/w/index.php?title=Hidden_Markov_model&oldid=768811108#Learning

Обратите внимание, что в некоторых случаях предпочитают добавить некоторую регуляризацию, которая иногда эквивалентна максимальной апостериорной оценке , например, почему штраф Лассо эквивалентен двойной экспоненте (Лапласу) до? ,

Франк Дернонкур
источник

3

Может кто-нибудь сказать мне простой случай, в котором он используется?

Очень типичный случай - логистическая регрессия. Логистическая регрессия - это метод, часто используемый в машинном обучении для классификации точек данных. Например, логистическая регрессия может использоваться для классификации того, является ли электронная почта спамом или не является спамом, или для классификации того, имеет ли человек заболевание или нет.

$x_i$ $h_\theta(x_i) = P[y_i = 1] = \frac{1}{1+e^{-\theta^T x_i}}$

$\theta$

$\hat\theta$ $-\sum_{i=1}^n y_i\log(h_\hat\theta(x_i)) + (1-y_i)\log(1-h_{\hat\theta}(x_i))$

user35734
источник

1

Мы все время используем MLE, но можем этого не чувствовать. Я приведу два простых примера, чтобы показать.

Пример 1

$8$ $10$ $\theta$ $\theta=0.8$

Зачем использовать подсчет? это на самом деле неявно с помощью MLE! Где проблема

\underset{θ}{Максимизация} θ^{8} (1 - θ)^{2}

$\underset \theta {\text{Maximize}}~~~\theta^{8}(1-\theta)^{2}$

Чтобы решить уравнение, нам понадобится некоторое исчисление, но вывод подсчитывается.

Пример 2

Как бы мы оценили параметры распределения Гаусса по данным? Мы используем эмпирическое среднее в качестве оценочного среднего, а эмпирическое отклонение - в качестве оценочного отклонения, которое также исходит из MLE !.

Хайтау Ду
источник

6

Пример 1 также является байесовским решением и методом моментов (ММ) (и, вероятно, это решение также с использованием других процедур). Пример 2 - это решение MM. Было бы гораздо убедительнее демонстрировать процедуры, которые являются исключительно MLE - иначе MLE никогда бы не понадобился.

whuber

Почему пример 1 становится решением Байеса, а пример 2 становится решением ММ? Что такое ММ, кстати?

user122358

@ user122358 ММ - метод моментов. Смотрите здесь, например: en.wikipedia.org/wiki/Method_of_moments_(statistics)

JDD

0

Некоторые максимальные вероятности использования в беспроводной связи:

Декодирование цифровых данных из зашумленных принимаемых сигналов с избыточными кодами или без них.
Оценка временных, фазовых и частотных смещений в приемниках.
Оценка (параметров) канала распространения.
Оценка задержки, угла прихода и доплеровского сдвига (например, радар).
Оценка мобильной позиции (например, GPS).
Оценка смещения часов для синхронизации всех видов распределенных настроек.
Множество процедур калибровки.

GDumphart
источник

Используем ли мы когда-либо оценку максимального правдоподобия?

Ответы: