Вопросы с тегом «likelihood»

42
Метод максимального правдоподобия и метод наименьших квадратов

В чем основное различие между оценкой максимального правдоподобия (MLE) и оценкой наименьших квадратов (LSE)? Почему мы не можем использовать MLE для прогнозирования значений в линейной регрессии и наоборот?Yyy Любая помощь по этой теме будет принята с...

37
Почему glmer не достигает максимальной вероятности (что подтверждается применением дополнительной общей оптимизации)?

Численно получить MLE из GLMM сложно, и на практике, я знаю, мы не должны использовать оптимизацию методом грубой силы (например, используя optimпростой способ). Но для моих собственных образовательных целей я хочу попробовать, чтобы убедиться, что я правильно понимаю модель (см. Код ниже). Я...

34
Почему существует разница между ручным вычислением 95-процентного доверительного интервала и использованием функции confint () в R?

Дорогие, я заметил нечто странное, что не могу объяснить, не так ли? В итоге: ручной подход к вычислению доверительного интервала в модели логистической регрессии и функция R confint()дают разные результаты. Я проходил Прикладную логистическую регрессию Хосмера и Лемешоу (2-е издание). В 3-й главе...

31
Кросс-энтропия или логарифмическая вероятность в выходном слое

Я читаю эту страницу: http://neuralnetworksanddeeplearning.com/chap3.html и это сказало, что сигмоидальный выходной слой с кросс-энтропией весьма похож на выходной слой softmax с логарифмической вероятностью. что произойдет, если я использую сигмоид с логарифмической вероятностью или softmax с...

30
Как строго определить вероятность?

Вероятность может быть определена несколькими способами, например: функция LLL из Θ × X,Θ×X\Theta\times{\cal X} которая отображает в т.е. .(θ,x)(θ,x)(\theta,x)L(θ∣x)L(θ∣x)L(\theta \mid x)L:Θ×X→RL:Θ×X→RL:\Theta\times{\cal X} \rightarrow \mathbb{R} случайная функцияL(⋅∣X)L(⋅∣X)L(\cdot \mid X) мы...

30
Что такое квазибиномиальное распределение (в контексте GLM)?

Я надеюсь, что кто-то может дать интуитивный обзор того, что такое квазибиномиальное распределение и что оно делает. Меня особенно интересуют эти моменты: Чем квазибиномиал отличается от биномиального распределения. Когда переменная отклика представляет собой пропорцию (примерные значения включают...

29
Как работать с иерархическими / вложенными данными в машинном обучении

Я объясню мою проблему на примере. Предположим, вы хотите предсказать доход человека с учетом некоторых атрибутов: {Возраст, Пол, Страна, Регион, Город}. У вас есть тренировочный набор данных, как так train <- data.frame(CountryID=c(1,1,1,1, 2,2,2,2, 3,3,3,3), RegionID=c(1,1,1,2, 3,3,4,4,...

29
Какая информация является информацией Фишера?

Предположим, у нас есть случайная величина . Если был истинным параметром, функция правдоподобия должна быть максимизирована, а производная равна нулю. Это основной принцип оценки максимального правдоподобия.X∼f(x|θ)X∼f(x|θ)X \sim f(x|\theta)θ0θ0\theta_0 Насколько я понимаю, информация о Фишере...

28
Оценки максимального правдоподобия для усеченного распределения

Рассмотрим независимых выборок S, полученных из случайной величины X, которая, как предполагается, следует усеченному распределению (например, усеченному нормальному распределению ) известных (конечных) минимальных и максимальных значений a и b, но неизвестных параметров μ и σ 2 . Если Х следовали...

28
Каковы некоторые иллюстративные применения эмпирической вероятности?

Я слышал об эмпирической вероятности Оуэна, но до недавнего времени не обращал на это внимания, пока не наткнулся на интересную статью ( Mengersen et al. 2012 ). В моих попытках понять это я выяснил, что вероятность наблюдаемых данных представляется в виде L = ∏япя= ∏яп( Xя= х ) = ∏яп( Xя≤ x ) - P(...

26
Запись в Википедии о вероятности кажется неоднозначной

У меня есть простой вопрос относительно «условной вероятности» и «вероятности». (Я уже рассмотрел этот вопрос здесь, но безрезультатно.) Это начинается со страницы Википедии о вероятности . Они говорят это: Вероятность набора значений параметров, & θθ\theta , учитывая исходы xxx , равна...

25
Интуитивное обоснование предвзятых оценок максимального правдоподобия

У меня путаница в оценках предвзятого максимального правдоподобия (ML). Математика всей концепции довольно ясна для меня, но я не могу понять интуитивное обоснование этого. Учитывая определенный набор данных, который имеет выборки из распределения, который сам является функцией параметра, который...

25
Оценка максимального правдоподобия - почему она используется, несмотря на то, что во многих случаях она является предвзятой

Оценка максимального правдоподобия часто приводит к смещенным оценкам (например, ее оценка для выборочной дисперсии смещена для распределения Гаусса). Что же делает его таким популярным? Почему именно так много? Кроме того, что именно делает его лучше, чем альтернативный подход - метод моментов?...

25
Когда я * не * должен использовать функцию R NLM для MLE?

Я наткнулся на пару руководств, предлагающих использовать Rs nlm для оценки максимального правдоподобия. Но ни один из них (включая документацию R ) не дает большого теоретического руководства о том, когда использовать или не использовать функцию. Насколько я могу судить, nlm просто делает...

25
Построение доверительных интервалов на основе вероятности профиля

В моих элементарных статистических данных , конечно, я узнал , как построить 95% доверительный интервал , например , как математическое ожидание, , на основе асимптотической нормальности для «больших» размеров выборок. Помимо методов передискретизации (таких как начальная загрузка), существует еще...

24
Расчет предельной вероятности по образцам MCMC

Это повторяющийся вопрос (см. Этот пост , этот пост и этот пост ), но у меня другое вращение. Предположим, у меня есть набор сэмплов из стандартного сэмплера MCMC. Для каждого образца я знаю значение вероятности записи в журнал и предшествующего . Если это помогает, я также знаю значение...

23
Можем ли мы использовать MLE для оценки веса нейронной сети?

Я только начал изучать статистику и моделирование вещей. В настоящее время я понимаю, что мы используем MLE, чтобы оценить лучшие параметры для модели. Однако, когда я пытаюсь понять, как работают нейронные сети, кажется, что они обычно используют другой подход для оценки параметров. Почему мы не...

23
Всегда ли есть максимизатор для любой проблемы MLE?

Интересно, всегда ли есть максимизатор для какой-либо задачи оценки максимального (логарифмического) правдоподобия? Другими словами, есть ли какое-то распределение и некоторые его параметры, для которых у проблемы MLE нет максимизатора? Мой вопрос исходит от утверждения инженера о том, что функция...

23
Оценка параметров t-распределения Стьюдента

Каковы оценки максимального правдоподобия для параметров t-распределения Стьюдента? Существуют ли они в закрытом виде? Быстрый поиск в Google не дал мне никаких результатов. Сегодня меня интересует одномерный случай, но, вероятно, мне придется расширить модель до нескольких измерений....

22
Почему максимальная вероятность, а не ожидаемая вероятность?

Почему так часто получают оценки максимального правдоподобия параметров, но вы практически никогда не слышали об ожидаемых оценках параметров правдоподобия (т. Е. На основе ожидаемого значения, а не режима функции правдоподобия)? Это в первую очередь по историческим причинам или по более предметным...