Доказать связь между расстоянием Махаланобиса и кредитным плечом?

Я видел формулы в Википедии. которые касаются расстояния Махаланобиса и плеча:

Расстояние Махаланобиса тесно связано со статистикой кредитного плеча , но имеет другой масштаб: D ^ 2 = (N - 1) (h - \ tfrac {1} {N}).$h$

$$D^2 = (N - 1)(h - \tfrac{1}{N}).$$

В связанной статье Википедия описывает $h$ в следующих терминах:

В модели линейной регрессии, оценка рычагов для $i^{th}$ блока данных определяются как:

$$h_{ii}=(H)_{ii},$$ $i^{th}$ диагонального элемента шлема матрица $H=X(X^{\top}X)^{-1}X^{\top}$ , где $^{\top}$ обозначает транспонирование матрицы.

Я не могу найти доказательств нигде. Я пытался начать с определений, но я не могу добиться прогресса. Кто-нибудь может дать намек?

Мое описание расстояния Махаланобиса в нижней части вверху объяснение расстояния Махаланобиса? включает в себя два ключевых результата:

1. По определению, оно не меняется, когда регрессоры равномерно смещены.

2. Квадратное расстояние Махаланобиса между векторами и определяется как где - ковариация данных.$x$$y$

   $$D^2(x,y) = (x-y)^\prime \Sigma^{-1}(x-y)$$ $\Sigma$

(1) позволяет предположить, что все средства регрессоров равны нулю. Осталось вычислить . Однако, чтобы утверждение было верным, нам нужно добавить еще одно предположение:$h_i$

Модель должна включать в себя перехват.

Учитывая это, пусть будет регрессоров и данных, записывающих значение регрессора для наблюдения как . Пусть вектор столбцов этих значений для регрессора будет записан а вектор строки этих значений для наблюдения будет записан . Тогда матричная модель является$k \ge 0$$n$$j$$i$$x_{ij}$$n$$j$$\mathbf{x}_{,j}$$k$$i$$\mathbf{x}_i$

$$X = \pmatrix{ 1 &x_{11} &\cdots &x_{1k} \\ 1 &x_{21} &\cdots &x_{2k} \\ \vdots &\vdots &\vdots &\vdots \\ 1 &x_{n1} &\cdots &x_{nk}}$$

и, по определению, матрица шляпы

$$H = X(X^\prime X)^{-1} X^\prime,$$

откуда запись по диагонали$i$

$$h_i = h_{ii} = (1; \mathbf{x}_i) (X^\prime X)^{-1} (1; \mathbf{x}_i)^\prime.\tag{1}$$

Для этого нет ничего, кроме как отработать эту обратную центральную матрицу - но благодаря первому ключевому результату это легко, особенно когда мы пишем ее в блочно-матричной форме:

$$X^\prime X = n\pmatrix{1 & \mathbf{0}^\prime \\ \mathbf{0} & C}$$

где и$\mathbf{0} = (0,0,\ldots,0)^\prime$

$$C_{jk} = \frac{1}{n} \sum_{i=1}^n x_{ij} x_{ik} = \frac{n-1}{n}\operatorname{Cov}(\mathbf{x}_j, \mathbf{x}_k) = \frac{n-1}{n}\Sigma_{jk}.$$

(Я написал для выборочной ковариационной матрицы регрессоров.) Поскольку это диагональ блока, ее обратное можно найти, просто инвертировав блоки:$\Sigma$

$$(X^\prime X)^{-1} = \frac{1}{n}\pmatrix{1 & \mathbf{0}^\prime \\ \mathbf{0} & C^{-1}} = \pmatrix{\frac{1}{n} & \mathbf{0}^\prime \\ \mathbf{0} & \frac{1}{n-1}\Sigma^{-1}}.$$

Из определения получаем$(1)$

$$\eqalign{ h_i &= (1; \mathbf{x}_i) \pmatrix{\frac{1}{n} & \mathbf{0}^\prime \\ \mathbf{0} & \frac{1}{n-1}\Sigma^{-1}}(1; \mathbf{x}_i)^\prime \\ &=\frac{1}{n} + \frac{1}{n-1}\mathbf{x}_i \Sigma^{-1}\mathbf{x}_i^\prime \\ &=\frac{1}{n} + \frac{1}{n-1} D^2(\mathbf{x}_i, \mathbf{0}). }$$

Решение для квадрата длины Махаланобиса дает$D_i^2 = D^2(\mathbf{x}_i, \mathbf{0})$

$$D_i^2 = (n-1)\left(h_i - \frac{1}{n}\right),$$

КЕД .

Оглядываясь назад, можно проследить аддитивный член в присутствии перехвата, который ввел столбец единиц в модель матрицы . Мультипликативный член появился после того, как предполагалось, что расстояние Махаланобиса будет вычислено с использованием выборочной ковариационной оценки (которая делит суммы квадратов и произведений на ), а не ковариационной матрицы данных (которая делит сумму квадратов и продукты по ).$1/n$$X$$n-1$n - 1 n$n-1$$n$

---

Главная ценность этого анализа заключается в том, чтобы придать левереджу геометрическую интерпретацию, которая измеряет, насколько единичное изменение в ответе при наблюдении изменит подходящее значение при этом наблюдении: наблюдения с высоким левериджем находятся на больших расстояниях Махаланобиса от центроида из регрессоров, точно так же, как механически эффективный рычаг работает на большом расстоянии от своей точки опоры.$i$

---

R код, чтобы показать, что отношение действительно имеет место:

x <- mtcars

# Compute Mahalanobis distances
h <- hat(x, intercept = TRUE); names(h) <- rownames(mtcars)
M <- mahalanobis(x, colMeans(x), cov(x))

# Compute D^2 of the question
n <- nrow(x); D2 <- (n-1)*(h - 1/n)

# Compare.
all.equal(M, D2)               # TRUE
print(signif(cbind(M, D2), 3))