Почему произведение двухфакторных коэффициентов регрессии линии -on- линии -on- равно квадрату корреляции?

11

Есть модель регрессии, где с и , у которой есть коэффициент корреляции . $Y = a + bX$ $a = 1.6$ $b=0.4$ $r = 0.60302$

Если и затем переключаются, и уравнение становится где и , оно также имеет значение . $X$ $Y$ $X = c + dY$ $c=0.4545$ $d=0.9091$ $r$ $0.60302$

Я надеюсь, что кто-то может объяснить, почему также . $(d\times b)^{0.5}$ $0.60302$

correlation regression-coefficients Майк
источник

17

$b = r \; \text{SD}_y / \text{SD}_x$ и , поэтому . $d = r \; \text{SD}_x / \text{SD}_y$ $b\times d = r^2$

Многие учебники статистики касаются этого; Мне нравится Фридман и др., Статистика . Смотрите также здесь и эту статью в Википедии .

Карл
источник

10

Взгляните на Тринадцать способов взглянуть на коэффициент корреляции - и особенно способы 3, 4, 5 будут наиболее интересны для вас.

Роджерс, JL, & Nicewander, WA (1988). Тринадцать способов взглянуть на коэффициент корреляции . Американский статистик, 42, 1 , с. 59-66.

любознательный
источник

2

Вероятно, это должен был быть комментарий. Обратите внимание, что ссылка исчезла. Я обновил ссылку и предоставил полную цитату. Можете ли вы уточнить или предоставить какую-либо дополнительную информацию, которая будет по-прежнему полезна, даже если ссылка снова не работает?

gung - Восстановить Монику

2

Статья Rodgers & Nicewander представлена на нашем сайте stats.stackexchange.com/q/70969/22228 .

whuber

3

$\DeclareMathOperator{\Cov}{Cov}$ $\DeclareMathOperator{\Corr}{Corr}$ $\DeclareMathOperator{\SD}{SD}$ $\DeclareMathOperator{\Var}{Var}$ $\DeclareMathOperator{\sgn}{sgn}$ $\DeclareMathOperator{\nsum}{\sum_{i=1}^{n}}$

Напомним, что многие вводные тексты определяют

S_{x y} = \sum_{i = 1}^{n} (x_{i} - \bar{x}) (y_{i} - \bar{y})

$S_{xy} = \nsum (x_i - \bar x)(y_i - \bar y)$

Тогда, установив качестве мы получаем и аналогично . $y$ $x$ $S_{xx} = \nsum (x_i - \bar x)^2$ $S_{yy} = \nsum (y_i - \bar y)^2$

Формулы для коэффициента корреляции , наклон -on- регрессия (ваш ) и наклон -on- регрессии (ваш ) часто задаются в виде: $r$ $y$ $x$ $b$ $x$ $y$ $d$

\begin{aligned} (1) & r & = \frac{S_{x y}}{\sqrt{S_{x x} S_{y y}}} \\ (2) & {\hat{β}}_{y on x} & = \frac{S_{x y}}{S_{x x}} \\ (3) & {\hat{β}}_{x on y} & = \frac{S_{x y}}{S_{y y}} \end{aligned}

$\begin{align} r &= \frac{S_{xy}}{\sqrt{S_{xx}S_{yy}}} \tag{1} \\ \hat \beta_{y\text{ on }x} &= \frac{S_{xy}}{S_{xx}} \tag{2} \\ \hat \beta_{x\text{ on }y} &= \frac{S_{xy}}{S_{yy}} \tag{3} \end{align}$

Тогда умножение и ясно дает квадрат : $(2)$ $(3)$ $(1)$

{\hat{β}}_{y on x} \cdot {\hat{β}}_{x on y} = \frac{S_{x y}^{2}}{S_{x x} S_{y y}} = r^{2}

$\hat \beta_{y\text{ on }x} \cdot \hat \beta_{x\text{ on }y} = \frac{S_{xy}^2}{S_{xx}S_{yy}} = r^2$

В качестве альтернативы, числители и знаменатели дробей в , и часто делятся на или так что вещи структурируются в терминах выборочных или оценочных дисперсий и ковариаций. Например, из оценочный коэффициент корреляции представляет собой просто оценочную ковариацию, масштабированную по оценочным стандартным отклонениям: $(1)$ $(2)$ $(3)$ $n$ $(n-1)$ $(1)$

\begin{aligned} (4) & r & = \hat{Corr} (X, Y) = \frac{\hat{Cov} (X, Y)}{\hat{SD (X)} \hat{SD (Y)}} \\ (5) & {\hat{β}}_{y on x} & = \frac{\hat{Cov} (X, Y)}{\hat{Var (X)}} \\ (6) & {\hat{β}}_{x on y} & = \frac{\hat{Cov} (X, Y)}{\hat{Var (Y)}} \end{aligned}

$\begin{align} r &= \widehat \Corr(X,Y) = \frac{\widehat \Cov(X,Y)}{\widehat{\SD(X)}\widehat{\SD(Y)}} \tag{4} \\ \hat \beta_{y\text{ on }x} &= \frac{\widehat \Cov(X,Y)}{\widehat{\Var(X)}} \tag{5} \\ \hat \beta_{x\text{ on }y} &= \frac{\widehat \Cov(X,Y)}{\widehat{\Var(Y)}} \tag{6} \end{align}$

Затем из умножения и сразу же получим, что $(5)$ $(6)$

{\hat{β}}_{y on x} {\hat{β}}_{x on y} = \frac{\hat{Cov} (X, Y)^{2}}{\hat{Var (X)} \hat{Var (Y)}} = {(\frac{\hat{Cov} (X, Y)}{\hat{SD (X)} \hat{SD (Y)}})}^{2} = r^{2}

$\hat \beta_{y\text{ on }x} \hat \beta_{x\text{ on }y} = \frac{\widehat \Cov(X,Y)^2}{\widehat{\Var(X)}\widehat{\Var(Y)}} = \left( \frac{\widehat \Cov(X,Y)}{\widehat{\SD(X)}\widehat{\SD(Y)}} \right)^2 = r^2$

Вместо этого мы могли бы переставить чтобы записать ковариацию как «увеличенную» корреляцию: $(4)$

\begin{matrix} (7) & \hat{Cov} (X, Y) = r \cdot \hat{SD (X)} \hat{SD (Y)} \end{matrix}

$\widehat \Cov(X,Y) = r\cdot \widehat{\SD(X)} \widehat{\SD(Y)} \tag{7}$

Затем, подставив в и мы могли бы переписать коэффициенты регрессии как и . Умножение их вместе также даст , и это решение @ Karl. Запись наклонов таким способом помогает объяснить, как мы можем видеть коэффициент корреляции как стандартизированный наклон регрессии . $(7)$ $(5)$ $(6)$ $\hat \beta_{y\text{ on }x} = r \frac{\widehat \SD(y)}{\widehat \SD(x)}$ $\hat \beta_{x\text{ on }y} = r \frac{\widehat \SD(x)}{\widehat \SD(y)}$ $r^2$

Наконец, обратите внимание, что в вашем случае но это произошло из-за вашей корреляции был положительным. Если бы ваша корреляция была отрицательной, вам пришлось бы принять отрицательный корень. $r = \sqrt{bd} =\sqrt{\hat \beta_{y\text{ on }x} \hat \beta_{x\text{ on }y}}$

Для того, чтобы работать , является ли ваша корреляция положительна или отрицательна, вам просто нужно рассматривать знак (плюс или минус) вашего коэффициента регрессии - это не имеет значения , смотрите ли вы на -он-0 или -on- так как их знаки будут одинаковыми. Таким образом, вы можете использовать формулу: $y$ $x$ $x$ $y$

r = sgn ({\hat{β}}_{y on x}) \sqrt{{\hat{β}}_{y on x} {\hat{β}}_{x on y}}

$r = \sgn(\hat \beta_{y\text{ on }x}) \sqrt{\hat \beta_{y\text{ on }x} \hat \beta_{x\text{ on }y}}$

где - это функция signum , т.е. если наклон положительный, и если наклон отрицательный. $\sgn$ $+1$ $-1$

тарпон
источник

1

Возможно, этот мой ответ вас заинтересует, хотя он явно не затрагивает заданный здесь вопрос.

Dilip Sarwate

Почему произведение двухфакторных коэффициентов регрессии линии -on- линии -on- равно квадрату корреляции?

Ответы: