Оценка параметров t-распределения Стьюдента

23

Каковы оценки максимального правдоподобия для параметров t-распределения Стьюдента? Существуют ли они в закрытом виде? Быстрый поиск в Google не дал мне никаких результатов.

Сегодня меня интересует одномерный случай, но, вероятно, мне придется расширить модель до нескольких измерений.

РЕДАКТИРОВАТЬ: меня на самом деле больше всего интересуют параметры местоположения и масштаба. Сейчас я могу предположить, что параметр степеней свободы фиксирован, и, возможно, использовать некоторую числовую схему, чтобы найти оптимальное значение позже.

Grzenio
источник
Насколько мне известно, они не существуют в закрытом виде. Может потребоваться подход с градиентным всплытием.
Пэт
Хотя в распределении Стьюдента есть один параметр, вы ссылаетесь на «параметры» во множественном числе. Возможно, вы включаете параметры местоположения и / или масштаба?
whuber
@whuber, спасибо за комментарий, меня действительно интересуют параметры местоположения и масштаба, а не степени свободы.
Грзенио
С данными уравнение правдоподобия для параметра местоположения алгебраически эквивалентно полиному степени 2 n - 1 . Считаете ли вы ноль такого многочлена заданным в «замкнутой форме»? n2n1
whuber
@whuber, есть ли особые случаи для малых n, например, n = 3?
Грзенио

Ответы:

27

Закрытой формы для T не существует, но очень интуитивный и стабильный подход - через алгоритм EM. Теперь, когда ученик представляет собой смесь нормалей, вы можете написать свою модель как

yi=μ+ei

где иwiGa(νei|σ,wiN(0,σ2wi1). Это означаетчто условно нашIОМП является просто взвешенным средним и стандартным отклонением. Это шаг "М"wiGa(ν2,ν2)wi

сг 2=Σяшя(уя - μ )2

μ^=iwiyiiwi
σ^2=iwi(yiμ^)2n

Теперь шаг «E» заменяет ожидаемым с учетом всех данных. Это дано как:wi

w^i=(ν+1)σ2νσ2+(yiμ)2

поэтому вы просто повторяете два вышеупомянутых шага, заменяя «правую часть» каждого уравнения текущими оценками параметров.

μσ2σ2(ν+1)σold2νν

Следует отметить, что функция логарифмического правдоподобия может иметь более одной стационарной точки, поэтому алгоритм EM может сходиться к локальному режиму вместо глобального режима. Локальные режимы могут быть обнаружены, когда параметр местоположения запускается слишком близко к выбросу. Поэтому начать с медианы - хороший способ избежать этого.

probabilityislogic
источник
1
Это потрясающе. Некоторое время я играл с идеей подгонки учеников к использованию ЭМ именно по той причине, что это похоже на смесь гауссов. У вас есть цитата / ссылка для обновлений уравнений, которые вы даете? Наличие этого увеличило бы удивительность этого поста еще больше.
Пэт
На самом деле, я думаю, что я нашел один для смешанной модели студенческого т (которую я так собираюсь использовать для вещей): смеси т-распределений Стьюдента в качестве надежной основы для жесткой регистрации. Димитриос Герогианнис, Христофор Нику, Аристидис Ликас. Image and Vision Computing 27 (2009) 1285–1294.
Пэт
Ссылка в моем ответе на этот вопрос имеет очень общую структуру EM для нагрузок и нагрузок функций правдоподобия - квантиль, ученик, логистика и выполняет общую регрессию. Ваш конкретный случай - это «регрессия» без ковариат - только для перехвата - так хорошо вписывается в эту структуру. Кроме того, существует огромное количество штрафных терминов, которые вы можете включить в эту структуру.
вероятностная
ν
Я думаю, что эта ссылка лучше, чем @ Pat's. «ОЦЕНКА ML Распределения с использованием EM и его расширений, ECM и ECME». Вы должны быть очень осторожны при выборе начального значения параметра при запуске алгоритма EM из-за локальной оптимальной проблемы. Другими словами, вы должны что-то знать о своих данных. Обычно я избегаю использования t-распределения в своем исследовании.
4

Следующая статья посвящена именно той проблеме, которую вы опубликовали.

Лю С. и Рубин Д.Б. 1995. «Оценка ML распределения t с использованием EM и его расширений, ECM и ECME». Statistica Sinica 5: 19–39.

Он обеспечивает общую многомерную оценку параметров t-распределения, со знанием или без знания степени свободы. Процедура может быть найдена в Разделе 4, и она очень похожа на вероятность вероятности для 1-измерения.

mitchshih
источник
7
Похоже, что статья, на которую вы ссылаетесь, содержит полезный ответ на вопрос, но ответы лучше, когда они автономны и не требуют внешних ресурсов (здесь, например, возможно, что OP или читатели не имеют доступа к этой статье ). Не могли бы вы немного конкретизировать свой ответ, чтобы сделать его более автономным?
Патрик Куломб
3

Γ(ν+12)νπΓ(ν2)(1+t2ν)ν+12=Γ(ν+12)νπΓ(ν2)exp{[ln(1+t2ν)][ν+12]}
νnnν
Lucozade
источник
1
Даже в гауссовой настройке логарифмическая вероятность нелинейна по своим параметрам :-).
whuber
Я на самом деле интересуюсь параметрами местоположения и масштаба, а не степенями свободы. Пожалуйста, смотрите редактирование вопроса, и извините за то, что он не точный.
Грзенио
2

Недавно я обнаружил оценку в замкнутой форме для шкалы t-распределения Стьюдента. Насколько мне известно, это новый вклад, но я хотел бы получить комментарии, предлагающие любые связанные результаты. В статье описывается метод в контексте семейства «связанных экспоненциальных» распределений. T Стьюдента упоминается как спаренный гауссиан, где член связи является обратной величиной степени свободы. Статистика в закрытой форме является средним геометрическим значением выборок. Предполагая значение связи или степень свободы, оценка шкалы определяется путем умножения среднего геометрического значения выборок на функцию, включающую связь и число гармоник.

https://arxiv.org/abs/1804.03989 Использование среднего геометрического в качестве статистики для шкалы связанных гауссовских распределений, Кенрик П. Нельсон, Марк А. Кон, Сабир Р. Умаров

Kenric
источник