Как вывести функцию вероятности для биномиального распределения для оценки параметров?

22

Согласно «Вероятности и статистике Миллера и Фрейнда для инженеров», 8ed (стр.217-218), функция правдоподобия, которая должна быть максимизирована для биномиального распределения (испытания Бернулли), определяется как

L(п)знак равноΠязнак равно1NпИкся(1-п)1-Икся

Как прийти к этому уравнению? Мне кажется довольно ясным в отношении других распределений, Пуассона и Гаусса;

L(θ)знак равноΠязнак равно1NPDF или PMF расст.

Но тот, что для бинома, немного отличается. Чтобы быть прямым вперед, как сделал

NСИкс пИкс(1-п)N-Икс

стать

пИкся(1-п)1-Икся

в приведенной выше функции вероятности?

Эбе Исаак
источник

Ответы:

25

При оценке максимального правдоподобия вы пытаетесь максимизировать ; однако максимизация этого эквивалентна максимизации для фиксированного . p x ( 1 - p ) n - x xNСИкс пИкс(1-п)N-ИкспИкс(1-п)N-ИксИкс

На самом деле, вероятность для гаусса и пуассона также не включает их ведущие константы, поэтому этот случай такой же, как те, что


Обращение к ОП

Вот немного подробнее:

Во-первых, - это общее количество успехов, тогда как - это одно испытание (0 или 1). Следовательно:ИксИкся

Πязнак равно1NпИкся(1-п)1-Иксязнак равнопΣ1NИкся(1-п)Σ1N1-Иксязнак равнопИкс(1-п)N-Икс

Это показывает, как вы получаете факторы вероятности (выполнив вышеуказанные шаги в обратном направлении).

Почему постоянная уходит? Неформально, и то, что делает большинство людей (включая меня), просто замечает, что ведущая константа не влияет на значение которое максимизирует вероятность, поэтому мы просто игнорируем ее (фактически установите ее равной 1).п

Мы можем получить это, взяв журнал функции правдоподобия и найдя, где ее производная равна нулю:

пер(NСИкс пИкс(1-п)N-Икс)знак равнопер(NСИкс)+Икспер(п)+(N-Икс)пер(1-п)

Возьмите производную по и установите в :п0

ddппер(NСИкс)+Икспер(п)+(N-Икс)пер(1-п)знак равноИксп-N-Икс1-пзнак равно0

NИксзнак равно1ппзнак равноИксN

Обратите внимание, что ведущая постоянная выпала из расчета MLE.

С точки зрения философии, правдоподобие имеет смысл только для умозаключения вплоть до постоянной умножения, так что если у нас есть две функции правдоподобия и , то они являются косвенно эквивалентными. Это называется законом правдоподобия . Поэтому, если мы сравниваем разные значения используя одну и ту же функцию правдоподобия, начальный член становится неактуальным.L1,L2L1знак равноКL2п

На практическом уровне логический вывод с использованием функции правдоподобия фактически основан на отношении правдоподобия, а не на абсолютном значении правдоподобия. Это связано с асимптотической теорией отношений правдоподобия (которые асимптотически являются хи-квадрат - подчиняются определенным условиям регулярности, которые часто являются подходящими). Тесты отношения правдоподобия предпочтительны благодаря лемме Неймана-Пирсона . Поэтому, когда мы попытаемся проверить две простые гипотезы, мы возьмем соотношение, и общий ведущий фактор отменит.

ПРИМЕЧАНИЕ. Этого не произойдет, если вы сравниваете две разные модели, например, бином и пуассон. В этом случае константы важны.

Из приведенных выше причин первая (несоответствие поиску максимизатора L) наиболее прямо отвечает на ваш вопрос.


источник
2
Мы видим, что это идея. Но не могли бы вы объяснить немного больше о том, как и заменить на 1? NСИксN
Ébe Исаак
@ ÉbeIsaac добавил еще несколько деталей
2

XI в продукте относится к каждому отдельному испытанию. Для каждого отдельного испытания xi может быть 0 или 1, а n всегда равно 1. Следовательно, тривиально, биномиальный коэффициент будет равен 1. Следовательно, в формуле произведения для вероятности произведение биномиальных коэффициентов будет равно 1, и, следовательно, в формуле нет nCx. Осознал это, работая шаг за шагом :) (Извините за форматирование, не привык отвечать на математические выражения в ответах ... пока :))

Абхишек Тивари
источник