Вопросы с тегом «maximum-likelihood»

11
Почему методы регрессии методом наименьших квадратов и максимального правдоподобия не эквивалентны, когда ошибки обычно не распределяются?

Название говорит обо всем. Я понимаю, что наименьшие квадраты и максимальное правдоподобие дадут одинаковый результат для коэффициентов регрессии, если ошибки модели будут нормально распределены. Но что произойдет, если ошибки не распределяются нормально? Почему два метода больше не...

11
Байесовская, MDL или ML интерпретация перекрестной проверки?

Есть ли известная байесовская, ML или MDL интерпретация перекрестной проверки? Могу ли я интерпретировать перекрестную проверку как выполнение правильного обновления специально созданного...

11
Сколько исчисления необходимо, чтобы понять оценку максимального правдоподобия?

Я пытаюсь спланировать учебный план для изучения MLE. Чтобы сделать это, я пытаюсь выяснить, какой минимальный уровень исчисления необходим для понимания MLE. Достаточно ли понять основы исчисления (то есть найти минимум и максимум функций), чтобы понять...

11
Вывод без правдоподобия - что это значит?

Недавно я узнал о методах «без правдоподобия», которые обсуждаются в литературе. Однако мне не ясно, что означает, что метод логического вывода или метод оптимизации не имеют правдоподобия . В машинном обучении цель обычно состоит в том, чтобы максимизировать вероятность того, что некоторые...

11
Геометрическая интерпретация оценки максимального правдоподобия

Я читал книгу Франклина М. Фишера «Проблема идентификации в эконометрике », и меня смутило то, что он демонстрирует идентификацию путем визуализации функции правдоподобия. Проблема может быть упрощена как: Для регрессии , где , и - параметры. Предположим, что имеет коэффициент равный единице. Тогда...

11
Оценки параметров для нормального распределения асимметрии

Каковы оценки параметров формул для косой нормали? Если вы можете, деривация через MLE или Mom тоже была бы отличной. Спасибо Редактировать . У меня есть набор данных, для которых я могу сказать визуально по графикам немного перекошен влево. Я хочу оценить среднее значение и дисперсию, а затем...

11
Параметры максимального правдоподобия отклоняются от апостериорных распределений

У меня есть функция правдоподобия Л (д| θ)L(d|θ)\mathcal{L}(d | \theta) для вероятности моих данных учетом некоторых параметров модели , которые я хотел бы оценить. Принимая плоские априорные значения параметров, вероятность пропорциональна апостериорной вероятности. Я использую метод MCMC для...

11
Почему Ограниченная максимальная вероятность дает лучшую (непредвзятую) оценку дисперсии?

Я читаю теоретическую статью Дуга Бейтса о пакете lme4 в R, чтобы лучше понять суть смешанных моделей, и натолкнулся на интригующий результат, который я хотел бы лучше понять, об использовании ограниченного максимального правдоподобия (REML) для оценки дисперсии , В разделе 3.3, посвященном...

11
Оценка максимального правдоподобия для отрицательного биномиального распределения

Вопрос в следующем: Случайная выборка из n значений собирается из отрицательного биномиального распределения с параметром k = 3. Найти оценку максимального правдоподобия параметра π. Найти асимптотическую формулу для стандартной ошибки этой оценки. Объясните, почему отрицательное биномиальное...

11
Несмещенная оценка для модели AR ( )

Рассмотрим модель AR ( ) (предполагая нулевое среднее значение для простоты):ппp ИксT= φ1Икст - 1+ … + ΦпИкст - р+ εTИксTзнак равноφ1ИксT-1+...+φпИксT-п+εT x_t = \varphi_1 x_{t-1} + \dotsc + \varphi_p x_{t-p} + \varepsilon_t Оценщик OLS (эквивалентный условному максимального правдоподобия) для...

11
Когда нельзя распределить выборку по частоте в байесовской апостериорной системе в условиях регрессии?

Мои актуальные вопросы приведены в двух последних абзацах, но для их мотивации: Если я пытаюсь оценить среднее значение случайной величины, которая следует за нормальным распределением с известной дисперсией, я прочитал, что если поставить перед средним равномерное значение, получится апостериорное...

10
Триединство тестов с максимальной вероятностью: что делать, когда сталкиваются с противоречивыми выводами?

Тесты Вальда, отношения правдоподобия и множителя Лагранжа в контексте оценки максимального правдоподобия асимптотически эквивалентны. Однако для небольших выборок они имеют тенденцию к значительному расхождению, а в некоторых случаях приводят к различным выводам. Как они могут быть ранжированы в...

10
Хорошая книга с равным акцентом на теорию и математику

У меня было достаточно курсов по статистике в школьные годы и в университете. У меня есть четкое понимание таких понятий, как CI, p-значения, интерпретация статистической значимости, множественное тестирование, корреляция, простая линейная регрессия (с наименьшими квадратами) (общие линейные...

10
Проверка гипотез на обратной ковариационной матрице

Предположим, я наблюдаю iid и хочу проверить vech для согласованной матрицы и вектора . Известны ли работы по этой проблеме?Икся∼ N( μ , Σ )Икся~N(μ,Σ)x_i \sim \mathcal{N}\left(\mu,\Sigma\right)( Σ - 1 ) = a A aЧАС0: A ЧАС0:A H_0: A\ ( Σ- 1) =а(Σ-1)знак равноa\left(\Sigma^{-1}\right) = aAAAaaa...

10
Смещение оценок максимального правдоподобия для логистической регрессии

Я хотел бы понять несколько фактов о максимальных вероятностных оценках (MLE) для логистических регрессий. Правда ли, что в целом MLE для логистической регрессии является предвзятой? Я бы сказал "да". Я знаю, например, что размер выборки связан с асимптотическим смещением MLE. Знаете ли вы...

10
Как мне включить инновационный выброс при наблюдении 48 в мою модель ARIMA?

Я работаю над набором данных. После использования некоторых методов идентификации моделей я разработал модель ARIMA (0,2,1). Я использовал detectIOфункцию в пакете TSAв R, чтобы обнаружить инновационный выброс (IO) на 48-м наблюдении за моим исходным набором данных. Как включить этот выброс в мою...

10
Общие теоремы для непротиворечивости и асимптотической нормальности максимального правдоподобия

Я заинтересован в хорошей ссылке на результаты, касающиеся асимптотических свойств оценок максимального правдоподобия. Рассмотрим модель где - это мерная плотность, а - это MLE, основанный на образце из где - это "истинное" значение . Есть два нарушения, которые меня...

10
Обобщенный логарифмический критерий отношения правдоподобия для не вложенных моделей

Я понимаю, что если у меня есть две модели A и B и A вложено в B, то, учитывая некоторые данные, я могу подобрать параметры A и B с помощью MLE и применить обобщенный тест логарифмического отношения правдоподобия. В частности, распределение теста должно быть с степенями свободы , где есть разность...

10
Какова максимальная оценка вероятности ковариации двумерных нормальных данных, когда известны среднее значение и дисперсия?

Предположим, у нас есть случайная выборка из двумерного нормального распределения, которая имеет нули в качестве средних значений и единицы в качестве дисперсий, поэтому единственным неизвестным параметром является ковариация. Что такое MLE ковариации? Я знаю, что это должно быть что-то вроде но...

10
Найти уникальный MVUE

Этот вопрос взят из книги Роберта Хогга «Введение в математическую статистику, 6-я версия», проблема 7.4.9 на стр. 388. Пусть будут iid с pdf ноль в другом месте, где .X1,...,XnX1,...,XnX_1,...,X_nf(x;θ)=1/3θ,−θ<x<2θ,f(x;θ)=1/3θ,−θ<x<2θ,f(x;\theta)=1/3\theta,-\thetay_n/2), \Rightarrow...