Можно ли использовать стандартизированные

Я пытаюсь интерпретировать результаты статьи, где они применили множественную регрессию, чтобы предсказать различные результаты. Однако 's (стандартизированные коэффициенты B определены как β x 1 = B x 1 ⋅ S D x $\beta$ гдеy- зависимая переменная, аx1- предиктор), по-видимому, не соответствует сообщенномуR2:$\beta_{x_1} = B_{x_1} \cdot \frac{\mathrm{SD}_{x_1}}{\mathrm{SD}_y}$$y$$x_1$$R^2$

Несмотря на то, что -0,83, -0,29, -0,16, -0,43, 0,25 и -0,29, R 2 составляет всего 0,20.$\beta$$R^2$

Кроме того, три предиктора: вес, ИМТ и% жира являются мультиколлинеарными, коррелируют в пределах r = 0,8-0,9 друг с другом в полах.

Является ли значение вероятным с этими β или нет прямой связи между β и R 2 ?$R^2$$\beta$$\beta$$R^2$

Кроме того, могут ли проблемы с мультиколлинеарными предикторами повлиять на четвертого предиктора (VO2max), который коррелирует около r = 0,4 с вышеупомянутыми тремя переменными?$\beta$

Геометрическая интерпретация обычной регрессии наименьших квадратов дает необходимое представление.

Большую часть того, что нам нужно знать, можно увидеть в случае двух регрессоров и x 2 с ответом y . В стандартизованных коэффициентах, или «бета,» возникают тогда , когда все три вектора стандартизированы к общей длине (который можно взять равную единицу). Таким образом, x 1 и x 2 являются единичными векторами в плоскости E 2 - они расположены на единичной окружности - и y является единичным вектором в трехмерном евклидовом пространстве E 3, содержащем эту плоскость. Встроено значение у является ортогональной (перпендикулярным) проекцией$x_1$$x_2$$y$$x_1$$x_2$$E^2$$y$$E^3$$\hat y$ на Е 2 . Поскольку R 2 просто квадрат длины у , мы даже не нужно визуализировать все три измерения: вся необходимая нам информация может быть нарисованы в этой плоскости.$y$$E^2$$R^2$$\hat y$

Ортогональные регрессоры

Самая хорошая ситуация, когда регрессоры ортогональны, как на первом рисунке.

На этой и остальных фигурах я последовательно нарисую диск блока белым цветом, а регрессоры - черными стрелками. всегда будет указывать прямо вправо. Толстые красные стрелки изображают компоненты у в х 1 и х 2 направлениях: то есть, β 1 х 1 и β 2 х 2 . Длина у радиус серой окружности , на которой он лежит , - но помните , что R 2 представляет собой$x_1$$\hat y$$x_1$$x_2$$\beta_1 x_1$$\beta_2 x_2$$\hat y$$R^2$ квадрат этой длины.

Теорема Пифагора утверждает

$$R^2 = |\hat y|^2 = |\beta_1 x_1|^2 + |\beta_2 x_2|^2 = \beta_1^2(1)+\beta_2^2(1) = \beta_1^2 + \beta_2^2.$$

Поскольку теорема Пифагора справедлива в любом количестве измерений, это рассуждение обобщается на любое число регрессоров, что дает наш первый результат:

$R^2$

$R^2$

Сопоставленная

Отрицательно коррелированные регрессоры встречаются под углами, превышающими прямой угол.

$R^2$

$\hat y$$R^2$$0$$x_1$$x_2$$R^2$

Давайте запомним этот очевидный результат, нашу вторую общность:

$R^2$

Однако это не универсальное отношение, как показано на следующем рисунке.

$R^2$$\hat y$$1/2$$R^2$$1$

Я оставляю на ваше воображение создание подобных примеров с положительно коррелированными регрессорами, которые, таким образом, встречаются под острыми углами.

$R^2$

$R^2$

---

Алгебраические результаты

$x_1, x_2, \ldots, x_p$$y$$(1,1,\ldots,1)^\prime$

$$|x_i|^2 = |y|^2 = 1.$$

$x_i$$n\times p$$X$

$$\Sigma = X^\prime X$$

$x_i$

$$\beta = (X^\prime X)^{-1} X^\prime y = \Sigma^{-1} (X^\prime y).$$

Кроме того, по определению, подходит

$$\hat y = X \beta = X (\Sigma ^{-1} X^\prime y).$$

$R^2$

$$R^2 = |\hat y|^2 = \hat y^\prime \hat y = (X\beta)^\prime (X\beta) = \beta^\prime (X^\prime X)\beta = \beta^\prime \Sigma\beta.$$

$R^2$

$$\sum_{i=1}^p \beta_i^2 = \beta^\prime \beta.$$

$L_2$$A$$p^2$

$$|A|_2^2 = \sum_{i,j} a_{ij}^2 = \operatorname{tr}(A^\prime A) = \operatorname{tr}(AA^\prime).$$

Неравенство Коши-Шварца подразумевает

$$R^2 = \operatorname{tr}(R^2) = \operatorname{tr}(\beta^\prime \Sigma \beta) = \operatorname{tr}(\Sigma \beta \beta^\prime) \le |\Sigma|_2 | \beta\beta^\prime|_2 = |\Sigma|_2 \beta^\prime \beta.$$

$1$$p^2$$p\times p$$\Sigma$$|\Sigma|_2$$\sqrt{1\times p^2} = p$

$$R^2 \le p\, \beta^\prime \beta.$$

$x_i$

$R^2$$R^2/p$

---

Выводы

$R^2$$\hat y$$R^2$

$1.1301$$R^2$$1$

$-0.83$$0.69$$R^2$$0.20$$\text{VO}_{2\,\text{max}}$

$R^2$$x_1$$x_2$$\hat y$$x_1$$x_2$$y$на неизвестные величины (в зависимости от того, как все три из них связаны с ковариатами), в результате чего мы почти ничего не знаем о фактических размерах векторов, с которыми мы работаем.