Геометрическая интерпретация коэффициента множественной корреляции и коэффициента детерминации

Меня интересует геометрический смысл множественной корреляции и коэффициента детерминации в регрессии или в векторной записи,R 2 y i = β 1 + β 2 x 2 , i + ⋯ + β k x k , i + ϵ $R$$R^2$$y_i = \beta_1 + \beta_2 x_{2,i} + \dots + \beta_k x_{k,i} + \epsilon_i$

$$\mathbf{y} = \mathbf{X \beta} + \mathbf{\epsilon}$$

Здесь матрица дизайна имеет строк и столбцов, первым из которых является , вектор единиц, соответствующий перехвату . n k x 1 = 1 n β $\mathbf{X}$$n$$k$$\mathbf{x}_1 = \mathbf{1}_n$$\beta_1$

Геометрия более интересна в мерном пространстве предметов, нежели в мерном пространстве переменных. Определите матрицу шляпы:$n$$k$

$$\mathbf{H} = \mathbf{X \left(X^\top X \right)}^{-1} \mathbf{X}^\top$$

Это ортогональная проекция на пространство столбцов , т. Е. Плоскость через начало координат, охватываемая векторами, представляющими каждую переменную , первая из которых . Затем проецирует вектор наблюдаемых откликов на свою "тень" на плоскость, вектор подходящих значений , и если мы посмотрев вдоль пути проекции, мы увидим вектор невязок образует третью сторону треугольника. Это должно дать нам два пути к геометрической интерпретации$\mathbf{X}$$k$$\mathbf{x}_i$$\mathbf{1}_n$$\mathbf{H}$$\mathbf{y}$$\mathbf{\hat{y}} = \mathbf{Hy}$$\mathbf{e} = \mathbf{y} - \mathbf{\hat{y}}$$R^2$:

1. Квадрат коэффициента множественной корреляции , который определяется как корреляция между и . Это будет выглядеть геометрически как косинус угла.$R$$\mathbf{y}$$\mathbf{\hat{y}}$
2. В терминах длин векторов: например, .$SS_\text{residual} = \sum_{i=1}^{n}e_i^2 = \|\mathbf{e}\|^2$

Я был бы рад увидеть краткий отчет, который объясняет:

• Более мелкие детали для (1) и (2),
• Почему (1) и (2) эквивалентны,
• Вкратце, как геометрическая проницательность позволяет нам визуализировать основные свойства $R^2$ , например, почему он становится равным 1, когда дисперсия шума становится равной 0. (В конце концов, если мы не можем интуитивно понять нашу визуализацию, то это не более чем Приятная картина.)

Я ценю, что это более просто, если переменные центрируются первыми, что убирает перехват из вопроса. Однако в большинстве описаний учебников, которые вводят множественную регрессию, матрица дизайна , как я изложил. Конечно, было бы хорошо, если экспозиция копается в пространстве, охватываемом центрированными переменными, но для понимания линейной алгебры из учебника было бы очень полезно связать это обратно с тем, что происходит геометрически в нецентрированной ситуации. Действительно проницательный ответ мог бы объяснить , что именно разрушение геометрически , когда термин перехватывать отбрасывается - то есть , когда вектор1$\mathbf{X}$$\mathbf{1}_n$удаляется из связующего набора. Я не думаю, что этот последний момент можно решить, рассматривая только центрированные переменные.

Если есть термин константы в модели затем лежит в пространстве столбцов матрицы X (как это делает ˉ Y 1 н , которые придут в полезном в дальнейшем). Оборудованная Y представляет собой ортогональную проекцию наблюдаемой Y на плоскую , образованной этой колонке пространства. Это означает , что вектор остатков е = у - у перпендикулярна к квартире, и , следовательно , к 1 н . Рассматривая скалярное произведение, мы можем видеть ∑ n i = 1 e i = 0 , поэтому компоненты$\mathbf{1_n}$$\mathbf{X}$$\bar{Y}\mathbf{1_n}$$\mathbf{\hat{Y}}$$\mathbf{Y}$$\mathbf{e} = \mathbf{y} - \mathbf{\hat{y}}$$\mathbf{1_n}$$\sum_{i=1}^n e_i = 0$ должно суммироваться до нуля. Так как Y я = ^ Y я + е я мы приходимвыводучто Σ п я = 1 Y я = Σ п я = 1 ^ Y я такчто оба подогнанные и наблюдаемые реакции имеют среднее ˉ Y .$\mathbf{e}$$Y_i = \hat{Y_i} + e_i$$\sum_{i=1}^n Y_i = \sum_{i=1}^n \hat{Y_i}$$\bar{Y}$

Пунктирные линии на диаграмме представляют собой и Y - ˉ Y 1 п , которые являются главным образом векторами для наблюдаемых и подогнанных ответов. Косинус угла & thetas поэтому между этими векторами будет соотношение Y и Y , который по определению является множественный коэффициент корреляции R . Треугольник эти векторы образуют с вектором невязок является прямоугольным , так как Y - ··· Y 1 п лежит в квартире , но $\mathbf{Y} - \bar{Y}\mathbf{1_n}$$\mathbf{\hat{Y}} - \bar{Y}\mathbf{1_n}$$\theta$$Y$$\hat{Y}$$R$$\mathbf{\hat{Y}} - \bar{Y}\mathbf{1_n}$ ортогонально этому. Следовательно:$\mathbf{e}$

$$R = \cos(\theta) = \frac{\text{adj}}{\text{hyp}} = \frac{\|\mathbf{\hat{Y}} - \bar{Y}\mathbf{1_n}\|}{\|\mathbf{Y} - \bar{Y}\mathbf{1_n}\|}$$

Мы также можем применить Пифагор к треугольнику:

$$\|\mathbf{Y} - \bar{Y}\mathbf{1_n}\|^2 = \|\mathbf{Y} - \mathbf{\hat{Y}}\|^2 + \|\mathbf{\hat{Y}} - \bar{Y}\mathbf{1_n}\|^2$$

Что может быть более знакомо, как:

$$\sum_{i=1}^{n} (Y_i - \bar{Y})^2 = \sum_{i=1}^{n} (Y_i - \hat{Y}_i)^2 + \sum_{i=1}^{n} (\hat{Y}_i - \bar{Y})^2$$

Это разложение сумм квадратов, .$SS_{\text{total}} = SS_{\text{residual}} + SS_{\text{regression}}$

Стандартное определение коэффициента детерминации:

$$R^2 = 1 - \frac{SS_{\text{residual}}}{SS_{\text{total}}} = 1 - \frac{\sum_{i=1}^n (y_i - \hat{y}_i)^2}{\sum_{i=1}^n (y_i - \bar{y})^2} = 1 - \frac{\|\mathbf{Y} - \mathbf{\hat{Y}}\|^2}{\|\mathbf{Y} - \bar{Y}\mathbf{1_n}\|^2}$$

Когда суммы квадратов можно разделить, требуется некоторая прямая алгебра, чтобы показать, что это эквивалентно формулировке «объясненная пропорция»,

$$R^2 = \frac{SS_{\text{regression}}}{SS_{\text{total}}} = \frac{\sum_{i=1}^n (\hat{y}_i - \bar{y})^2}{\sum_{i=1}^n (y_i - \bar{y})^2} = \frac{\|\mathbf{\hat{Y}} - \bar{Y}\mathbf{1_n}\|^2}{\|\mathbf{Y} - \bar{Y}\mathbf{1_n}\|^2}$$

Существует геометрический способ увидеть это из треугольника с минимальной алгеброй. Формула определения дает и с помощью базовой тригонометрии мы можем упростить это до cos 2 ( θ ) . Это связь между R 2 и R .$R^2 = 1 - \sin^2(\theta)$$\cos^2(\theta)$$R^2$$R$

Обратите внимание, насколько важно, чтобы в этом анализе был установлен термин «перехват», чтобы было в пространстве столбца. Без этого, остатки не подвели к нулю, а средний подогнанных значений не совпали с средним значением Y . В этом случае мы не могли бы нарисовать треугольник; суммы квадратов не разложились бы в пифагорейской манере; R - не имел бы часто цитируемый вид S S р / S S общий и не быть квадрат R . В этой ситуации некоторые программы (в том числе ) используют другую формулу для R 2 в целом$\mathbf{1_n}$$Y$$R^2$$SS_{\text{reg}}/SS_{\text{total}}$$R$R$R^2$,