Если вы используете точечную оценку, которая максимизирует

12

Если кто-то сказал

«Этот метод использует MLE точечную оценку для параметра, который максимизирует , поэтому он частый; и, кроме того, он не байесовский».P(x|θ)

Вы бы согласились?

  • Обновление на фоне : я недавно прочитал газету, которая утверждает, что часто. Я не согласен с их утверждением, в лучшем случае я чувствую, что это неоднозначно. В документе явно не упоминается ни MLE (или MAP , в этом отношении). Они просто берут балльную оценку, и они просто поступают так, как если бы эта балльная оценка была верной. Они непровести анализ распределения выборки по этой оценке или что-то в этом роде; модель довольно сложна, и поэтому такой анализ, вероятно, невозможен. Они ни в коем случае не используют слово «задний». Они просто принимают эту точную оценку за чистую монету и переходят к своей основной теме - выводу недостающих данных. Я не думаю, что в их подходе есть что-то, что подсказывает их философию. Возможно, они намеревались быть частыми (потому что чувствуют себя обязанными носить свою философию на рукаве), но их реальный подход довольно прост / удобен / ленив / неоднозначен. Теперь я склонен сказать, что в основе исследования нет философии; вместо этого я думаю, что их отношение было более прагматичным или удобным

    «Я наблюдал за данными и хочу оценить некоторые отсутствующие данные, . Существует параметр который контролирует отношения между и . Меня не волнует кроме как для достижения цели Если у меня есть оценка для , это облегчит прогнозирование по . Я выберу точечную оценку потому что это удобно, в частности я выберу который максимизирует . "г & thetas ; г х & thetas ; & thetas ; г х & thetas ; & thetas ; Р ( х | & thetas ; )xzθzxθθzxθθ^P(x|θ)

Идея объективной оценки , несомненно, является концепцией Frequentist. Это связано с тем, что он не обуславливает данные и описывает хорошее свойство (беспристрастность), которое будет сохраняться для всех значений параметра.

В байесовских методах роли данных и параметров несколько противоположны. В частности, теперь мы приводим условия к наблюдаемым данным и переходим к выводам о значении параметра. Это требует предварительного.

Пока все хорошо, но где MLE (максимальная оценка правдоподобия) вписывается во все это? У меня складывается впечатление, что многие люди считают, что это часто (или, точнее, не байесовски). Но я чувствую, что это байесовский метод, потому что он включает в себя получение данных наблюдений, а затем нахождение параметра, который максимизирует . MLE неявно использует единый априор и обусловливает данные и максимизирует . Справедливо ли сказать, что MLE выглядит как Frequentist и Bayesian? Или каждый простой инструмент должен попадать точно в одну из этих двух категорий?P ( p a r a m e t e r | d a t a )P(data|parameter)P(parameter|data)

MLE является последовательным, но я чувствую, что последовательность может быть представлена ​​как байесовская идея. Для произвольно больших выборок оценка сходится к правильному ответу. Утверждение «оценка будет равна истинному значению» справедливо для всех значений параметра. Интересно то, что это утверждение также верно, если вы включите наблюдаемые данные, сделав их байесовскими. Это интересное замечание справедливо для MLE, но не для объективной оценки.

Вот почему я чувствую, что MLE - это «самый байесовский» из методов, которые могут быть описаны как Frequentist.

В любом случае, большинство свойств Frequentist (например, беспристрастность) применимы во всех случаях, включая конечные размеры выборки. Тот факт, что согласованность имеет место только в невозможном сценарии (бесконечная выборка в одном эксперименте), предполагает, что согласованность не является таким полезным свойством.

Учитывая реалистичную (то есть конечную) выборку, есть ли свойство Frequentist, справедливое для MLE? Если нет, то MLE на самом деле не частый.

Аарон МакДейд
источник
6
MLE нельзя считать байесовским, начиная с интерпретации параметров в обеих парадигмах. С байесовской точки зрения параметр является случайной величиной, в то время как в классическом случае это значение, подлежащее оценке. MLE во многих случаях совпадает с MAP (и, возможно, другими точечными байесовскими оценками), но интерпретация совершенно иная.
3
@Procrastinator, вы должны оставить свой комментарий в качестве ответа. Я не ожидаю, что вы проголосуете или примете это, но я просто чувствую, что ваш комментарий - это ответ. Тогда вы и я могли бы удалить наши комментарии здесь.
Аарон МакДейд
1
Я не понимаю этот вопрос. (Я могу быть один в этом.) Что именно вы имеете в виду под «частиком»? «Не байесовский» не подойдет, потому что это включает в себя огромный спектр философий и методов. Что делает что-то «частым свойством»? Есть ли какая-либо связь между вашим «частым участником» и, скажем, Авраамом Уолдом или Джеком Кифером, который обосновывает статистические процедуры принципами принятия решений? (Кифер, в частности, имел довольно критическое мнение о MLE на этой основе.)
whuber
3
@whuber: Вы не одиноки. Один голос, чтобы закрыть это мое и был сделан день или два назад. Этот вопрос недостаточно ясен и не фокусируется и граничит с неконструктивным из-за его дискурсивного и несколько полемического построения, на мой взгляд.
кардинал
1
Модераторы не хотят закрывать эту ветку, потому что она собрала много ответов (включая ту, которая была принята!) И комментарии, что говорит о том, что сообщество может не согласиться с вашей новой оценкой этой ветки, Аарон.
whuber

Ответы:

7

Или каждый простой инструмент должен попадать точно в одну из этих двух категорий?

Нет. Простые (и не очень простые инструменты) можно изучать с разных точек зрения. Функция правдоподобия сама по себе является краеугольным камнем как в байесовской, так и в частистической статистике, и ее можно изучать с обеих точек зрения! Если вы хотите, вы можете изучать MLE как приближенное байесовское решение, или вы можете изучать его свойства с помощью асимптотической теории на частой основе.

Къетил б Халворсен
источник
4
Это неправильно, Аарон. Частые участники используют оценку максимального правдоподобия и верят в принцип правдоподобия. Кжетил прав, что функция правдоподобия является ключевым элементом как байесовского, так и частичного подходов к выводу. Но они используют это по-другому.
Майкл Р. Черник
3
Я дал очень хороший ответ на вопрос Аарона, но по какой-то странной причине люди отвергают его. Они не должны понимать, что происходит. Оценка максимального правдоподобия не может быть классифицирована как байесовская, поскольку она максимизирует вероятность и не учитывает предыдущие распределения вообще!
Майкл Р. Черник
4
(Я просто удалил свой собственный комментарий, я стараюсь добавлять только полезные комментарии.) Майкл, нет смысла жаловаться на отрицательные голоса, и вы не получите никакого сочувствия, просто сказав: «Они не должны понимать, что продолжается."
Аарон МакДейд
7
@ Майкл, ты когда-нибудь был свидетелем продуктивной работы, которая начинается с "почему меня опровергли"? Я уверен, что нет. Вот почему я (и несколько других участников здесь) не советую даже начинать разговор, независимо от того, считаете ли вы это оправданным или нет. Это бессмысленно и обычно приводит к длительному обсуждению вне темы.
Макро
3
@ Майкл, я, конечно, согласен с тем, что объяснение дается довольно вежливо, и я стараюсь это делать, если кто-то еще не выразил мою озабоченность в комментариях. Но если вы получаете тихое отрицательное голосование, я сомневаюсь, что обсуждение этого предмета начнет продуктивный разговор.
Макро
10

Когда вы выполняете оценку максимального правдоподобия, вы учитываете значение оценки и свойства выборки оценщика, чтобы установить неопределенность вашей оценки, выраженную как доверительный интервал. Я думаю, что это важно в отношении вашего вопроса, потому что доверительный интервал, как правило, будет зависеть от точек выборки, которые не наблюдались, что, по мнению некоторых, является небайсовым свойством.

PS Это связано с более общим фактом, что оценка максимального правдоподобия (точка + интервал) не удовлетворяет принципу правдоподобия , в то время как полный (« дикий стиль») байесовский анализ делает это.

Zen
источник
+1. Идея о том, что усеченная нормаль приведет к другому заднему плану, интересна и удивительна! Я прокомментировал, что я настроен скептически, но я удалил этот комментарий. Мне нужно подумать об этом немного больше. Обычно я нахожу Принцип правдоподобия «очевидно верным», поэтому я должен подумать об этом немного больше.
Аарон МакДейд
Хороший вопрос дзен. Я предполагаю, что в качестве точечной оценки оценка максимального правдоподобия находится в соответствии с принципом правдоподобия, но частое понятие доверительных интервалов - нет.
Майкл Р. Черник
@ Zen, я не уверен, что постеры одинаковы. У вас есть ссылка на это? Я создал Документ Google с моим аргументом, что апостериор будет меняться, когда мы заменяем нормаль на усеченную нормаль. Заранее спасибо.
Аарон МакДейд
6

Функция правдоподобия - это функция, которая включает данные и неизвестный параметр (ы). Его можно рассматривать как плотность вероятности для наблюдаемых данных, учитывая значение (я) параметра (ов). Параметры фиксированы. Таким образом, сама по себе вероятность является частым понятием. Максимизация вероятности заключается в том, чтобы просто найти конкретное значение (я) параметра (ов), который заставляет вероятность принимать максимальное значение. Таким образом, оценка максимального правдоподобия является распространенным методом, основанным исключительно на данных и форме модели, которая должна их генерировать. Байесовская оценка вступает в силу только тогда, когда на параметр (ы) помещается предварительное распределение, а формула Байеса используется для получения апостериорного распределения для параметра (параметров) путем объединения априорного значения с вероятностью.

Майкл Р. Черник
источник
Все комментарии, размещенные здесь, были перемещены в специальный чат . Если кому-то трудно присоединиться к этой комнате, и только в этом случае, пожалуйста, пометьте для модератора. Дальнейшие комментарии не принимаются.
Chl
6

Предполагая, что под «байесовским» вы ссылаетесь на субъективный байесовский (он же эпистемический байесовский, де-финетти байесовский), а не на нынешнее эмпирическое байесовское значение - это далеко не тривиально. С одной стороны, вы делаете выводы, основываясь только на ваших данных. Нет субъективных убеждений под рукой. Это кажется достаточно частым ... Но критика, выраженная даже в отношении самого Фишера (строгого не (субъективного) байесовского), заключается в том, что при выборе выборочного распределения субъективности данных проникли. Параметр определяется только с учетом нашего убеждения процесса генерации данных.

В заключение - я полагаю, что MLE, как правило, считается понятием частоты, хотя это просто вопрос того, как вы определяете «частоту» и «байесовский».

JohnRos
источник
+1: это то, к чему я стремился в своем комментарии выше.
Нейл Дж
1

(отвечая на свой вопрос)

Оценка является функцией , которая принимает некоторые данные и производит ряд (или диапазон чисел). Сам по себе оценщик на самом деле не «байесовский» или «частый» - вы можете думать о нем как о чёрном ящике, в который входят числа и выходят числа. Вы можете представить один и тот же оценщик частому специалисту и байесовскому эксперту, и у них будут разные вещи относительно оценщика.

(Меня не устраивает мое упрощенное различие между частыми и байесовскими - есть и другие вопросы, которые следует рассмотреть. Но для простоты давайте представим, что это всего лишь два четко определенных философских лагеря.)

Вы не можете сказать, является ли исследователь частым из байесовских, какой именно оценщик они выбирают. Важно выслушать, какие анализы они проводят на оценщике и какие причины они приводят для выбора этой оценки.

θP(x|θ)

Когда такое же программное обеспечение представляется байесовскому, байесовский вполне может быть доволен большей частью анализа часто встречающегося. Да, при прочих равных условиях смещение не хорошее, а последовательность хорошая. Но байесовский будет больше интересоваться другими вещами. Байесовский будет хотеть видеть, принимает ли оценка форму некоторой функции апостериорного распределения; и если да, то какой предыдущий использовался? Если оценка основана на апостериорной шкале, байесовский задастся вопросом, является ли предварительная оценка хорошей. Если они довольны предыдущим, и если оценщик сообщает о режиме апостериорного (в отличие, скажем, от среднего значения апостериорного значения), тогда они с удовольствием применят эту интерпретацию к оценке: «Эта оценка является точкой оценка, которая имеет больше шансов быть правильной. "

Я часто слышу, как говорят, что частые и байесовские «интерпретируют» вещи по-разному, даже когда вовлеченные числа одинаковы. Это может немного сбить с толку, и я не думаю, что это действительно так. Их интерпретации не противоречат друг другу; они просто делают заявления о различных аспектах системы. Давайте отложим точечные оценки на данный момент и рассмотрим интервалы. В частности, существуют частые доверительные интервалы и байесовские достоверные интервалы . Они обычно дают разные ответы. Но в определенных моделях с определенными априорными значениями два типа интервалов дают одинаковый числовой ответ.

Когда интервалы одинаковы, как мы можем интерпретировать их по-разному? Частик скажет об интервальной оценке:

Прежде чем я увижу данные или соответствующий интервал, я могу сказать, что есть, по крайней мере, 95% -ная вероятность того, что истинный параметр будет содержаться в пределах интервала.

тогда как байесовский скажет об интервальной оценке:

После того, как я увижу данные или соответствующий интервал, я могу сказать, что есть, по крайней мере, 95% вероятность того, что истинный параметр содержится в этом интервале.

Эти два утверждения идентичны, за исключением слов «До» и «После». Байесовец поймет и согласится с предыдущим утверждением, а также признает, что его истина не зависит от любого предшествующего, тем самым делая его «сильнее». Но, выступая как байесовец, я бы беспокоился, что первое утверждение может быть не очень полезным . Частому участнику не понравится последнее утверждение, но я не понимаю его достаточно хорошо, чтобы дать точное описание возражений этого участника.

После просмотра данных будет ли оптимист по-прежнему надеяться, что истинное значение содержится в интервале? Возможно, нет. Это немного нелогично, но важно для истинного понимания доверительных интервалов и других концепций, основанных на распределении выборки. Вы могли бы предположить, что частый участник все еще сказал бы: «Учитывая данные, я все еще думаю, что есть 95% -ая вероятность, что истинное значение находится в этом интервале». Частик не только ставит под сомнение, верно ли это утверждение, но и спрашивает, имеет ли смысл атрибутировать вероятности таким образом. Если у вас есть еще вопросы по этому поводу, не задавайте мне, это слишком много для меня!

Байесовский рад сделать это утверждение: «Если учесть данные, которые я только что видел, вероятность того, что истинное значение находится в этом диапазоне, составляет 95%».

Я должен признать, что я немного запутался в одном последнем пункте. Я понимаю и соглашаюсь с утверждением, сделанным участником до того, как данные увидят. Я понимаю и согласен с заявлением, сделанным байесовским представлением после просмотра данных. Тем не менее, я не уверен, что частый человек скажет после просмотра данных; Изменится ли их вера в мир? Я не в состоянии понять философию частолюбителей здесь.

Аарон МакДейд
источник
1
Хотя я нахожу большую часть этого ясного и размышляющего, кажется, что он полностью игнорирует нечто фундаментальное, что в целом представляет собой различные интерпретации вероятности. Кроме того, последние два абзаца не относятся к любому анализу или интерпретации, которые я видел. В самом деле, я не узнаю ни одного практикующего статистика в вашем «частоте» (который звучит скорее как древний философ). Кто - по крайней мере после Аристотеля - когда-либо говорил, что их анализ данных завершен до того, как данные были получены? Это соломенный человек за попытку продвинуть байесовский подход?
whuber
1
@whuber, если это соломенный человек, это не намеренно. Всегда трудно делать какие-либо попытки сообщать о мнениях других людей, не включая случайное суждение об этом. И я не претендую на широкое понимание многих нюансов. Я постараюсь переосмыслить свой последний абзац. Кроме того, вы говорите, что я пропустил «разные интерпретации вероятности в целом». Я лучше ничего не скажу, чем скажу что-то неправильное. Невозможно сказать все. Я могу попытаться дать вам правду и ничего, кроме правды, но я не могу дать вам всю правду :-)
Аарон МакДейд
(+1) Вы правы, здесь идут долгие дебаты, и каждый пункт не может быть освещен в одном посте. Я одобряю этот ответ за его тщательное и вдумчивое изложение (но не потому, что я согласен со всем этим!).
whuber
Я отредактировал последние несколько абзацев, чтобы попытаться быть более справедливым; от "После просмотра данных ..." и далее. Я не эксперт, поэтому я стараюсь быть честным, когда выхожу из глубины. Спасибо за ответ.
Аарон МакДейд
1

P(x|θ)

Бен - Восстановить Монику
источник