Доказательство формулы LOOCV

Из «Введения в статистическое обучение » Джеймса и др., Оценка перекрестной проверки (LOOCV) определяется как где .

{резюме}_{(N)} знак равно \frac{1}{N} Σ_{я знак равно 1}^{N} {MSE}_{я}

$\text{CV}_{(n)} = \dfrac{1}{n}\sum\limits_{i=1}^{n}\text{MSE}_i$

{MSE}_{i} = (y_{i} - {\hat{y}}_{i})^{2}

$\text{MSE}_i = (y_i-\hat{y}_i)^2$

Без доказательства уравнение (5.2) утверждает, что для регрессии наименьших квадратов или полиномиальной регрессии (относится ли это к регрессии только по одной переменной, мне неизвестно), где " это й встроенна значение из первоначальных наименьших квадратов не подходит ( не знаю , что это значит, кстати , означает ли это с использованием всех точек в наборе данных?) и является кредитное плечо» , которое определяется

{резюме}_{(N)} знак равно \frac{1}{N} Σ_{я знак равно 1}^{N} {(\frac{Y_{я} - {\hat{Y}}_{я}}{1 - {час}_{я}})}^{2}

$\text{CV}_{(n)} = \dfrac{1}{n}\sum\limits_{i=1}^{n}\left(\dfrac{y_i - \hat{y}_i}{1-h_i}\right)^2$

{\hat{y}}_{i}

$\hat{y}_i$

i

$i$

h_{i}

$h_i$

{час}_{я} знак равно \frac{1}{N} + \frac{({Икс}_{я} - \bar{Икс})^{2}}{Σ_{J знак равно 1}^{N} ({Икс}_{J} - \bar{Икс})^{2}},

$h_i = \dfrac{1}{n}+\dfrac{(x_i - \bar{x})^2}{\sum\limits_{j=1}^{n}(x_j - \bar{x})^2}\text{.}$

Как это доказать?

Моя попытка: можно начать с того, что заметили, что но отдельно из этого (и если я напомню, что формула для верна только для простой линейной регрессии ...), я не уверен, как действовать дальше.

{\hat{Y}}_{я} знак равно β_{0} + Σ_{я знак равно 1}^{К} β_{К} {Икс}_{К} + некоторые полиномиальные члены степени \geq 2

$\hat{y}_i = \beta_0 + \sum\limits_{i=1}^{k}\beta_k X_k + \text{some polynomial terms of degree }\geq 2$

h_{i}

$h_i$

regression self-study cross-validation least-squares Кларнетист
источник

Либо ваши уравнения, кажется, используют для более чем одной вещи, или я сильно запутался. В любом случае дополнительная ясность будет хорошей.

i

$i$

Glen_b

@Glen_b Я только что узнал о LOOCV вчера, поэтому я не могу правильно понять некоторые вещи. Насколько я понимаю, у вас есть набор точек данных, скажем, . С LOOCV у вас есть для каждого фиксированного (положительного целого) некоторый набор проверки и тестовый набор используется для генерации подобранной модели для каждого . Например, мы подгоняем нашу модель, используя простую линейную регрессию с тремя точками данных, . Мы бы (продолжение следует)

X = {(x_{i}, y_{i}) : i \in Z^{+}}

$\mathcal{X} = \{(x_i, y_i): i \in \mathbb{Z}^+\}$

k

$k$

V_{k} = {(x_{k}, y_{k})}

$\mathcal{V}_k = \{(x_k, y_k)\}$

T_{k} = X ∖ V_{k}

$\mathcal{T}_k = \mathcal{X}\setminus \mathcal{V}_k$

k

$k$

X = {(0, 1), (1, 2), (2, 3)}

$\mathcal{X} = \{(0, 1), (1, 2), (2,3)\}$

Кларнетист

@Glen_b и . Используя точки в , мы можем обнаружить, что с помощью простой линейной регрессии мы получаем модель . Затем мы вычисляем используя в качестве набора проверки, и получаем (просто используя заданную точку) и , давая . Хорошо, возможно, использование верхнего индекса не было лучшей идеей - я изменю это в оригинальном посте.

V_{1} = {(0, 1)}

$\mathcal{V}_1 = \{(0, 1)\}$

T_{1} = {(1, 2), (2, 3)}

$\mathcal{T}_1 = \{(1, 2), (2, 3)\}$

T_{1}

$\mathcal{T}_1$

{\hat{y}}_{i} = X + 1

$\hat{y}_i = X + 1$

MSE

$\text{MSE}$

V_{1}

$\mathcal{V}_1$

y_{1} = 1

$y_1 = 1$

{\hat{y}}_{1}^{(1)} = 0 + 1 = 1

$\hat{y}_1^{(1)} = 0 + 1 = 1$

{MSE}_{1} = 0

$\text{MSE}_1 = 0$

Кларнетист

вот несколько лекционных заметок на страницах

Ксавье Бурре Сикот

Я покажу результат для любой множественной линейной регрессии, независимо от того, являются ли регрессоры полиномами от или нет. На самом деле, он показывает немного больше, чем вы просили, потому что он показывает, что каждый остаток LOOCV идентичен соответствующему взвешенному остатку из полной регрессии, а не только тому, что вы можете получить ошибку LOOCV, как в (5.2) (там Могут быть и другие способы, которыми средние значения совпадают, даже если не каждый термин в среднем одинаков). $X_t$

Позвольте мне позволить себе использовать слегка адаптированные обозначения.

Сначала мы покажем, что где - оценка, использующая все данные, и оценка при выходе из , наблюдение . Пусть определяется как вектор строки, такой что . - остатки.

\begin{aligned} \hat{β} - {\hat{β}}_{(T)} & знак равно (\frac{{\hat{U}}_{T}}{1 - {час}_{T}}) ({Икс}^{'} Икс)^{- 1} {Икс}_{T}^{'}, (А) \end{aligned}

$\begin{align*} \hat\beta-\hat\beta_{(t)}&=\left(\frac{\hat u_t}{1-h_t}\right)(X'X)^{-1}X_t', \quad\quad \textrm{(A)} \end{align*}$

\hat{β}

$\hat\beta$

{\hat{β}}_{(t)}

$\hat\beta_{(t)}$

X_{(t)}

$X_{(t)}$

t

$t$

X_{t}

$X_t$

{\hat{y}}_{t} = X_{t} \hat{β}

$\hat y_t=X_t\hat\beta$

{\hat{u}}_{t}

$\hat u_t$

В доказательстве используется следующий матричный алгебраический результат.

Пусть - неособая матрица, - вектор и - скаляр. Если Тогда $A$ $b$ $\lambda$

\begin{aligned} λ & \neq - \frac{1}{б^{'} A^{- 1} б} \end{aligned}

$\begin{align*} \lambda&\neq -\frac{1}{b'A^{-1}b} \end{align*}$

\begin{aligned} (A + λ б б^{'})^{- 1} & знак равно A^{- 1} - (\frac{λ}{1 + λ б^{'} A^{- 1} б}) A^{- 1} б б^{'} A^{- 1} (В) \end{aligned}

$\begin{align*} (A+\lambda bb')^{-1}&=A^{-1}-\left(\frac{\lambda}{1+\lambda b'A^{-1}b}\right)A^{-1}bb'A^{-1}\quad\quad \textrm{(B) }\end{align*}$

Доказательство (B) следует непосредственно из проверки

\begin{aligned} {A^{- 1} - (\frac{λ}{1 + λ б^{'} A^{- 1} б}) A^{- 1} б б^{'} A^{- 1}} (A + λ б б^{'}) знак равно я, \end{aligned}

$\begin{align*} \left\{A^{-1}-\left(\frac{\lambda}{1+\lambda b'A^{-1}b}\right)A^{-1}bb'A^{-1}\right\}(A+\lambda bb')=I. \end{align*}$

Следующий результат полезен для доказательства (A)

\begin{aligned} ({Икс}_{(T)}^{'} {Икс}_{(T)})^{- 1} {Икс}_{T}^{'} знак равно (\frac{1}{1 - {час}_{T}}) ({Икс}^{'} Икс)^{- 1} {Икс}_{T}^{'}, (С) \end{aligned}

$\begin{align} (X_{(t)}'X_{(t)})^{-1}X_t'=\left(\frac{1}{1-h_t}\right)(X'X)^{-1}X_t'.\quad\quad \textrm{ (C)} \end{align}$

Доказательство (C): По (B) мы имеем, используя , Таким образом, мы находим $\sum_{t=1}^TX_t'X_t=X'X$

\begin{aligned} ({Икс}_{(T)}^{'} {Икс}_{(T)})^{- 1} & знак равно ({Икс}^{'} Икс - {Икс}_{T}^{'} {Икс}_{T})^{- 1} \\ знак равно ({Икс}^{'} Икс)^{- 1} + \frac{({Икс}^{'} Икс)^{- 1} {Икс}_{T}^{'} {Икс}_{T} ({Икс}^{'} Икс)^{- 1}}{1 - {Икс}_{T} ({Икс}^{'} Икс)^{- 1} {Икс}_{T}^{'}}, \end{aligned}

$\begin{align*} (X_{(t)}'X_{(t)})^{-1}&=(X'X-X_t'X_t)^{-1}\\ &=(X'X)^{-1}+\frac{(X'X)^{-1}X_t'X_t(X'X)^{-1}}{1-X_t(X'X)^{-1}X_t'}. \end{align*}$

\begin{aligned} ({Икс}_{(T)}^{'} {Икс}_{(T)})^{- 1} {Икс}_{T}^{'} & знак равно ({Икс}^{'} Икс)^{- 1} {Икс}_{T}^{'} + ({Икс}^{'} Икс)^{- 1} {Икс}_{T}^{'} (\frac{{Икс}_{T} ({Икс}^{'} Икс)^{- 1} {Икс}_{T}^{'}}{1 - {Икс}_{T} ({Икс}^{'} Икс)^{- 1} {Икс}_{T}^{'}}) \\ знак равно (\frac{1}{1 - {час}_{T}}) ({Икс}^{'} Икс)^{- 1} {Икс}_{T}^{'}, \end{aligned}

$\begin{align*} (X_{(t)}'X_{(t)})^{-1}X_t'&=(X'X)^{-1}X_t'+(X'X)^{-1}X_t'\left(\frac{X_t(X'X)^{-1}X_t'}{1-X_t(X'X)^{-1}X_t'}\right)\\ &=\left(\frac{1}{1-h_t}\right)(X'X)^{-1}X_t'. \end{align*}$

Доказательство (A) теперь следует из (C): так как мы имеем или Итак, где последнее равенство следует из (С).

\begin{aligned} {Икс}^{'} Икс \hat{β} & знак равно {Икс}^{'} Y, \end{aligned}

$\begin{align*} X'X\hat\beta&=X'y, \end{align*}$

\begin{aligned} ({Икс}_{(T)}^{'} {Икс}_{(T)} + {Икс}_{T}^{'} {Икс}_{T}) \hat{β} & знак равно {Икс}_{(T)}^{'} Y_{(T)} + {Икс}_{T}^{'} Y_{T}, \end{aligned}

$\begin{align*} (X_{(t)}'X_{(t)}+X_t'X_t)\hat\beta &=X_{(t)}'y_{(t)}+X_t' y_t, \end{align*}$

\begin{aligned} {я_{К} + ({Икс}_{(T)}^{'} {Икс}_{(T)})^{- 1} {Икс}_{T}^{'} {Икс}_{T}} \hat{β} & знак равно {\hat{β}}_{(T)} + ({Икс}_{(T)}^{'} {Икс}_{(T)})^{- 1} {Икс}_{T}^{'} ({Икс}_{T} \hat{β} + {\hat{U}}_{T}), \end{aligned}

$\begin{align*} \left\{I_k+(X_{(t)}'X_{(t)})^{-1}X_t'X_t\right\}\hat\beta&=\hat\beta_{(t)}+(X_{(t)}'X_{(t)})^{-1}X_t'(X_t\hat\beta+\hat u_t). \end{align*}$

\begin{aligned} \hat{β} & знак равно {\hat{β}}_{(T)} + ({Икс}_{(T)}^{'} {Икс}_{(T)})^{- 1} {Икс}_{T}^{'} {\hat{U}}_{T} \\ знак равно {\hat{β}}_{(T)} + ({Икс}^{'} Икс)^{- 1} {Икс}_{T}^{'} \frac{{\hat{U}}_{T}}{1 - {час}_{T}}, \end{aligned}

$\begin{align*} \hat\beta&=\hat\beta_{(t)}+(X_{(t)}'X_{(t)})^{-1}X_t'\hat u_t\\ &=\hat\beta_{(t)}+(X'X)^{-1}X_t'\frac{\hat u_t}{1-h_t}, \end{align*}$

Теперь обратите внимание на . Умножьте в (A) на , добавьте с обеих сторон и переставьте, чтобы получить остатки, полученные в результате использования ( ), или $h_t=X_t(X'X)^{-1}X_t'$ $X_t$ $y_t$ $\hat u_{(t)}$ $\hat\beta_{(t)}$ $y_t-X_t\hat\beta_{(t)}$

{\hat{U}}_{(T)} знак равно {\hat{U}}_{T} + (\frac{{\hat{U}}_{T}}{1 - {час}_{T}}) {час}_{T}

$\hat u_{(t)}=\hat u_t+\left(\frac{\hat u_t}{1-h_t}\right)h_t$

{\hat{U}}_{(T)} знак равно \frac{{\hat{U}}_{T} (1 - {час}_{T}) + {\hat{U}}_{T} {час}_{T}}{1 - {час}_{T}} знак равно \frac{{\hat{U}}_{T}}{1 - {час}_{T}}

$\hat u_{(t)}=\frac{\hat u_t(1-h_t)+\hat u_th_t}{1-h_t}=\frac{\hat u_t}{1-h_t}$

Кристоф Ханк
источник

Определение отсутствует в вашем ответе. Я предполагаю, что это матрица с удаленной строкой .

X_{(t)}

$X_{(t)}$

X

$X$

X_{t}

$X_t$

mpiktas

Также упомянуть тот факт, что будет полезным.

X^{'} X = \sum_{t = 1}^{T} X_{t}^{'} X_{t}

$X'X=\sum_{t=1}^T X_t'X_t$

mpiktas

@mpiktas, да, спасибо за указатели. Я отредактировал, чтобы принять во внимание первый комментарий. Где именно вторая помощь? Или просто оставить это в своем комментарии?

Кристоф Ханк,

Когда вы начинаете доказательство (C), вы пишете . Это хороший трюк, но я сомневаюсь, что случайный читатель знает об этом.

(X_{(t)}^{'} X_{(t)})^{- 1} = (X^{'} X - X_{t}^{'} X_{t})^{- 1}

$(X_{(t)}'X_{(t)})^{-1}=(X'X-X_t'X_t)^{-1}$

mpiktas

Два года спустя ... я ценю этот ответ еще больше, теперь, когда я прошел последовательность линейных моделей на уровне выпускника. Я переучиваю этот материал с этой новой точки зрения. Есть ли у вас какие-либо предлагаемые ссылки (учебники?), Которые проходят деривации, как то, что у вас есть в этом ответе в деталях?

Кларнетист

Доказательство формулы LOOCV

Ответы: