Вопросы с тегом «maximum-likelihood»

метод оценки параметров статистической модели путем выбора значения параметра, оптимизирующего вероятность наблюдения данной выборки.

92
Оценка максимального правдоподобия (MLE) в терминах непрофессионала

Может ли кто-нибудь объяснить мне подробно об оценке максимального правдоподобия (MLE) в терминах непрофессионала? Я хотел бы знать основную концепцию, прежде чем перейти к математическому выводу или...

73
Что такое «ограниченная максимальная вероятность» и когда ее следует использовать?

Я прочитал в реферате этой статьи, что: «Процедура максимального правдоподобия (ML) в Hartley aud Rao модифицируется путем адаптации преобразования Паттерсона и Томпсона, которое делит нормальность правдоподобия на две части, одна из которых не имеет фиксированных эффектов. Максимизация этой части...

71
Генерация случайной величины с определенной корреляцией с существующей переменной

Для исследования моделирования я должен генерировать случайные переменные , которые показывают prefined (населения) корреляцию с существующей переменной .YYY Я посмотрел на Rпакеты copulaи CDVineкоторые могут производить случайные многомерные распределения с заданной структурой зависимостей. Однако...

57
Примеры, где метод моментов может превзойти максимальную вероятность в маленьких выборках?

Оценки максимального правдоподобия (MLE) асимптотически эффективны; мы видим практический результат в том, что они часто работают лучше, чем оценки методом моментов (MoM) (когда они различаются), даже при небольших размерах выборки Здесь «лучше чем» означает то, что обычно имеет меньшую дисперсию,...

55
Расширенные рекомендации по статистике книг

На этом сайте есть несколько веток для рекомендаций по вводной статистике и машинному обучению, но я ищу текст по расширенной статистике, в том числе в порядке приоритета: максимальная вероятность, обобщенные линейные модели, анализ главных компонентов, нелинейные модели . Я пробовал Статистические...

54
Основной вопрос о информационной матрице Фишера и связи с гессианскими и стандартными ошибками

Хорошо, это довольно простой вопрос, но я немного запутался. В своей диссертации я пишу: Стандартные ошибки могут быть найдены путем вычисления обратного корня квадратного из диагональных элементов (наблюдаемой) информационной матрицы Фишера: Так как команда оптимизации в R...

47
Почему мы минимизируем отрицательную вероятность, если она эквивалентна максимизации вероятности?

Этот вопрос меня давно озадачил. Я понимаю использование 'log' в максимизации вероятности, поэтому я не спрашиваю о 'log'. Мой вопрос таков: поскольку максимизация логарифмической вероятности эквивалентна минимизации «отрицательной логарифмической вероятности» (NLL), почему мы изобрели эту NLL?...

46
Интерпретация логарифмически преобразованного предиктора и / или ответа

Мне интересно, имеет ли это значение при интерпретации того, являются ли логически преобразованными только зависимые, как зависимые, так и независимые, или только независимые переменные. Рассмотрим случай log(DV) = Intercept + B1*IV + Error Я могу интерпретировать IV как процентное увеличение, но...

46
Что говорит обратная ковариационная матрица о данных? (Наглядно)

Меня интересует природа Σ−1Σ−1\Sigma^{-1} . Кто-нибудь может сказать что-то интуитивное о том, «Что Σ−1Σ−1\Sigma^{-1} говорит о данных?» Редактировать: Спасибо за ответы Пройдя несколько отличных курсов, я бы хотел добавить несколько моментов: Это мера информации, т. Е. xTΣ−1xxTΣ−1xx^T\Sigma^{-1}x...

46
Интуиция позади, почему парадокс Штейна применим только в измерениях

Пример Стейна показывает, что оценка максимального правдоподобия nnn нормально распределенных переменных со средними значениями μ1,…,μnμ1,…,μn\mu_1,\ldots,\mu_n и дисперсиями 111 недопустима (при функции квадрата потерь) тогда и только тогда, когда n≥3n≥3n\ge 3 . Для ясного доказательства см....

45
Все модели бесполезны? Возможна ли какая-то точная модель - или полезная?

Этот вопрос был в моей голове более месяца. Выпуск Amstat News за февраль 2015 года содержит статью профессора Беркли Марка ван дер Лаана, которая ругает людей за использование неточных моделей. Он утверждает, что при использовании моделей статистика становится искусством, а не наукой. По его...

42
Метод максимального правдоподобия и метод наименьших квадратов

В чем основное различие между оценкой максимального правдоподобия (MLE) и оценкой наименьших квадратов (LSE)? Почему мы не можем использовать MLE для прогнозирования значений в линейной регрессии и наоборот?Yyy Любая помощь по этой теме будет принята с...

37
Почему glmer не достигает максимальной вероятности (что подтверждается применением дополнительной общей оптимизации)?

Численно получить MLE из GLMM сложно, и на практике, я знаю, мы не должны использовать оптимизацию методом грубой силы (например, используя optimпростой способ). Но для моих собственных образовательных целей я хочу попробовать, чтобы убедиться, что я правильно понимаю модель (см. Код ниже). Я...

31
Кросс-энтропия или логарифмическая вероятность в выходном слое

Я читаю эту страницу: http://neuralnetworksanddeeplearning.com/chap3.html и это сказало, что сигмоидальный выходной слой с кросс-энтропией весьма похож на выходной слой softmax с логарифмической вероятностью. что произойдет, если я использую сигмоид с логарифмической вероятностью или softmax с...

29
Как работать с иерархическими / вложенными данными в машинном обучении

Я объясню мою проблему на примере. Предположим, вы хотите предсказать доход человека с учетом некоторых атрибутов: {Возраст, Пол, Страна, Регион, Город}. У вас есть тренировочный набор данных, как так train <- data.frame(CountryID=c(1,1,1,1, 2,2,2,2, 3,3,3,3), RegionID=c(1,1,1,2, 3,3,4,4,...

29
Какая информация является информацией Фишера?

Предположим, у нас есть случайная величина . Если был истинным параметром, функция правдоподобия должна быть максимизирована, а производная равна нулю. Это основной принцип оценки максимального правдоподобия.X∼f(x|θ)X∼f(x|θ)X \sim f(x|\theta)θ0θ0\theta_0 Насколько я понимаю, информация о Фишере...

28
Оценки максимального правдоподобия для усеченного распределения

Рассмотрим независимых выборок S, полученных из случайной величины X, которая, как предполагается, следует усеченному распределению (например, усеченному нормальному распределению ) известных (конечных) минимальных и максимальных значений a и b, но неизвестных параметров μ и σ 2 . Если Х следовали...

28
Каковы некоторые иллюстративные применения эмпирической вероятности?

Я слышал об эмпирической вероятности Оуэна, но до недавнего времени не обращал на это внимания, пока не наткнулся на интересную статью ( Mengersen et al. 2012 ). В моих попытках понять это я выяснил, что вероятность наблюдаемых данных представляется в виде L = ∏япя= ∏яп( Xя= х ) = ∏яп( Xя≤ x ) - P(...