Линейная регрессия с ошибками Лапласа

9

Рассмотрим модель линейной регрессии: где , то есть Распределение Лапласа со средним значением и параметром масштаба являются взаимно независимыми. Рассмотрим оценку максимального правдоподобия неизвестного параметра : из которого \ hat {\ boldsymbol \ beta} _ {\ mathrm {ML}} = {\ arg \ min} _ {\ boldsymbol \ beta \ in \ mathbb R ^ m} \ sum _ {i = 1} ^ n | \ mathbf x_i \ cdot \ boldsymbol \ beta - y_i | ε iL ( 0 , b ) 0 b β - log p ( yX , β , b ) = n log ( 2 b ) + 1

Yязнак равноИксяβ+εя,язнак равно1,...,N,
εя~L(0,б)0бβ
-журналп(Y|Икс,β,б)знак равноNжурнал(2б)+1бΣязнак равно1N|Иксяβ-Yя|
β^MLзнак равноArgминβрмΣязнак равно1N|Иксяβ-Yя|

Как найти распределение невязок Y-Иксβ^ML в этой модели?

nmerci
источник
Что вы подразумеваете под поиском распределения остатков?
jlimahaverford
Поскольку остатки могут быть сгруппированы в случайный вектор, я хотел бы знать его распределение. По крайней мере, первые два момента.
nmerci
Понял, спасибо! Рассматривали ли вы моделирование и заговор?
jlimahaverford
Да, я хочу построить область доверия для остатков. Например, для гауссовых ошибок область является эллипсоидом.
Nmerci

Ответы:

1

Предполагается, что остатки (фактически называемые ошибками) распределяются случайным образом с двойным экспоненциальным распределением (распределение Лапласа). Если вы подходите к этим точкам x и y, сделайте это численно. Сначала вы рассчитываете beta-hat_ML для этих точек в целом, используя формулу, которую вы разместили выше. Это определит линию через точки. Затем вычтите значение y каждой точки из значения y линии при этом значении x. Это остаток для этой точки. Остатки всех точек можно использовать для построения гистограммы, которая даст вам распределение остатков.

На нем есть хорошая математическая статья Янга (2014) .

--Lee

Ли Джи
источник
4
Ссылка не работает.
Майкл Р. Черник