Общий вопрос Скажем, у нас есть потоковые данные , , ... . Мы хотим рекурсивно вычислить оценку максимального правдоподобия \ boldsymbol {\ theta} . То есть, вычислив \ hat {\ boldsymbol {\ theta}} _ {n-1} = \ underset {\ boldsymbol {\ theta} \ in \ mathbb {R} ^ p} {\ arg \ max} \ prod_ { i = 1} ^...
Джеффри Вулдридж в своем эконометрическом анализе данных поперечного сечения и панелей (стр. 357) говорит, что эмпирический гессиан «не гарантированно будет положительно определенным или даже положительно полуопределенным для конкретного образца, с которым мы работаем». Это кажется мне...
Этот вопрос касается оценки ограниченного максимального правдоподобия (REML) в конкретной версии линейной модели, а именно: Y= Х( α ) β+ ϵ ,ε ~ NN( 0 , Σ ( α ) ) ,Yзнак равноИкс(α)β+ε,ε~NN(0,Σ(α)), Y = X(\alpha)\beta + \epsilon, \\ \epsilon\sim N_n(0, \Sigma(\alpha)), где - ( ) матрица,...
Мне интересно, использовалась ли когда-либо максимальная оценка правдоподобия в статистике. Мы изучаем понятие этого, но мне интересно, когда это фактически используется. Если мы предположим распределение данных, мы найдем два параметра, один для среднего значения и один для дисперсии, но...
Пусть θ будет оценка максимального правдоподобия истинного параметра некоторой модели. По мере увеличения числа точек данных ошибка обычно уменьшается как O (1 / \ sqrt n) . Используя неравенство треугольника и свойства ожидания, можно показать, что этот коэффициент ошибок подразумевает, что оба...
В первой главе книги « Алгебраическая геометрия и теория статистического обучения», в которой говорится о сходимости оценок в разных функциональных пространствах, упоминается, что байесовская оценка соответствует топологии распределения Шварца, тогда как оценка максимального правдоподобия...
Кажется, существует большая путаница при сравнении использования glmnetвнутри caretдля поиска оптимальной лямбды и использования cv.glmnetдля выполнения той же задачи. Было задано много вопросов, например: Модель классификации train.glmnet против cv.glmnet? Как правильно использовать glmnet с...
MLE = оценка максимального правдоподобия MAP = максимум апостериорный MLE интуитивно понятен / наивен в том смысле, что он начинается только с вероятности наблюдения с учетом параметра (то есть функции правдоподобия) и пытается найти параметр, наилучшим образом соответствующий наблюдению . Но это...
В целом кажется, что метод моментов просто сопоставляет наблюдаемое среднее значение выборки или дисперсию с теоретическими моментами для получения оценок параметров. Я понимаю, что это часто то же самое, что и MLE для экспоненциальных семей. Тем не менее, трудно найти четкое определение метода...
Учитывая набор данных с двоичными результатами и некоторой матрицей предикторов , стандартная модель логистической регрессии оценивает коэффициенты \ beta_ {MLE } которые максимизируют биномиальную вероятность. Когда X - полный ранг, \ beta_ {MLE} уникален; когда нет идеального разделения, оно...
Недавно я просмотрел несколько старых работ Нэнси Рейд, Барндорфа-Нильсена, Ричарда Кокса и, да, маленького Рональда Фишера о понятии «условный вывод» в парадигме частоты, что, по-видимому, означает, что выводы основаны на рассмотрении только «соответствующее подмножество» пробного пространства, а...
Допустим, у меня проблема с выбором модели, и я пытаюсь использовать AIC или BIC для оценки моделей. Это просто для моделей, которые имеют некоторое число вещественных параметров.kkk Однако что, если одна из наших моделей (например, модель Мэллова ) имеет перестановку плюс некоторые...
Предпосылка: это может быть глупый вопрос. Я знаю только утверждения об асимптотических свойствах MLE, но я никогда не изучал доказательства. Если бы я это сделал, возможно, я бы не стал задавать эти вопросы, или, может быть, я бы понял, что эти вопросы не имеют смысла ... поэтому, пожалуйста,...
После центрирования два измерения x и -x можно считать независимыми наблюдениями из распределения Коши с функцией плотности вероятности: 1f(x:θ)=f(x:θ)=f(x :\theta) = ,-∞<x<∞1π(1+(x−θ)2)1π(1+(x−θ)2)1\over\pi (1+(x-\theta)^2) ,−∞<x<∞,−∞<x<∞, -∞ < x < ∞ Покажите, что если MLE для θ...
Этот вопрос мотивирован этим . Я посмотрел два источника, и это то, что я нашел. А. ван дер Ваарт, Асимптотическая статистика: Редко можно явно рассчитать вероятность профиля, но его численная оценка часто выполнима. Тогда профиль вероятности может служить для уменьшения размерности функции...
Я вижу упомянутое в разных местах, что ANOVA делает оценку, используя метод моментов. Меня смущает это утверждение, потому что, хотя я не знаком с методом моментов, я понимаю, что это нечто отличное от метода максимальной вероятности и не эквивалентное ему; с другой стороны, ANOVA можно...
У меня есть модель для прогнозирования траектории (х как функция времени) с несколькими параметрами. В настоящий момент я вычисляю среднеквадратичную ошибку (RMSE) между прогнозируемой траекторией и экспериментально записанной траекторией. В настоящее время я минимизирую эту разницу (RMSE),...
Я пытаюсь понять логистическую регрессию Фёрта (метод обработки идеального / полного или квази-полного разделения в логистической регрессии), чтобы я мог объяснить это другим в упрощенном виде. У кого-нибудь есть придуманное объяснение того, что модифицирует оценка Фёрта для MLE? Я прочитал, как...
Когда предпочтительнее использовать оценку максимального правдоподобия вместо обычных наименьших квадратов? Каковы сильные и слабые стороны каждого? Я пытаюсь собрать практические знания о том, где использовать каждый в общих...
Фон: Я пытаюсь следовать обзору Принстона оценки MLE для GLM . Я понимаю основы оценки MLE: likelihood, score, наблюдаемая и ожидаемая Fisher informationи Fisher scoringтехника. И я знаю, как обосновать простую линейную регрессию с помощью оценки MLE . Вопрос: Я не могу понять даже первую строку...