В чем разница между корреляцией и простой линейной регрессией?

В частности, я имею в виду коэффициент корреляции Пирсона и момента произведения.

В чем разница между корреляцией между и и линейной регрессией, предсказывающей из ?Y Y $X$$Y$$Y$$X$

Во-первых, некоторые сходства :

• стандартизированный коэффициент регрессии такой же, как коэффициент корреляции Пирсона
• Квадрат коэффициента корреляции Пирсона такой же, как в простой линейной регрессии$R^2$
• Ни простая линейная регрессия, ни корреляция не отвечают непосредственно на вопросы причинности. Это важно, потому что я встречал людей , которые думают , что простая регрессия может магически позволить вывод , что вызывает .$X$$Y$

Во-вторых, некоторые отличия :

• Уравнение регрессии (то есть ) можно использовать для прогнозирования на основе значенийY $a + bX$$Y$$X$
• Хотя корреляция обычно относится к линейным отношениям, она может относиться к другим формам зависимости, таким как полиномиальные или действительно нелинейные отношения
• Хотя корреляция обычно относится к коэффициенту корреляции Пирсона, существуют и другие типы корреляции, такие как коэффициент Спирмена.

Вот ответ, который я разместил на сайте graphpad.com :

Корреляция и линейная регрессия не совпадают. Рассмотрим эти различия:

• Корреляция количественно определяет степень, в которой связаны две переменные. Корреляция не вписывается в линию через данные.
• С корреляцией вам не нужно думать о причине и следствии. Вы просто определяете, насколько хорошо две переменные связаны друг с другом. При регрессии вы должны думать о причине и следствии, поскольку линия регрессии определяется как лучший способ предсказать Y из X.
• При корреляции не имеет значения, какую из двух переменных вы называете «X», а какую - «Y». Вы получите тот же коэффициент корреляции, если вы поменяете местами. При линейной регрессии решение о том, какую переменную вы называете «X», а какую «Y», имеет большое значение, так как вы получите другую линию наилучшего соответствия, если вы поменяете местами. Линия, которая лучше всего предсказывает Y из X, отличается от линии, которая предсказывает X из Y (если только у вас нет точных данных без разброса.)
• Корреляция почти всегда используется при измерении обеих переменных. Это редко подходит, когда одна переменная является чем-то, что вы экспериментально манипулируете. При линейной регрессии переменная X обычно является чем-то, что вы экспериментально манипулируете (время, концентрация ...), а переменная Y - это то, что вы измеряете.

В случае линейной регрессии с одним предиктором стандартизированный наклон имеет то же значение, что и коэффициент корреляции. Преимущество линейной регрессии заключается в том, что взаимосвязь может быть описана таким образом, что вы можете прогнозировать (на основе взаимосвязи между двумя переменными) оценку по прогнозируемой переменной с учетом любого конкретного значения переменной-предиктора. В частности, один фрагмент информации, который дает линейная регрессия, показывает, что корреляция не является перехватом, значением прогнозируемой переменной, когда предиктор равен 0.

Короче говоря - они дают идентичные результаты в вычислительном отношении, но есть больше элементов, которые могут интерпретироваться в простой линейной регрессии. Если вы хотите просто охарактеризовать величину взаимосвязи между двумя переменными, используйте корреляцию - если вы заинтересованы в прогнозировании или объяснении своих результатов в терминах конкретных значений, вы, вероятно, хотите регрессию.

Корреляционный анализ только количественно определяет отношение между двумя переменными, игнорируя которые являются зависимой переменной и которая является независимой. Но перед применением регрессии вы должны проверить, какое влияние какой переменной вы хотите проверить на другую переменную.

Все приведенные ответы до сих пор дают важную информацию, но не следует забывать, что вы можете преобразовать параметры одного в другой:

Регрессия:$y = mx + b$

Связь между параметрами регрессии и корреляцией, ковариацией, дисперсией, стандартным отклонением и средними значениями: b= ˉ y -m ˉ

Таким образом, вы можете преобразовать оба в друг друга, масштабируя и сдвигая их параметры.

Пример в R:

y <- c(4.17, 5.58, 5.18, 6.11, 4.50, 4.61, 5.17, 4.53, 5.33, 5.14)
x <- c(4.81, 4.17, 4.41, 3.59, 5.87, 3.83, 6.03, 4.89, 4.32, 4.69)
lm(y ~ x)
## 
## Call:
## lm(formula = y ~ x)
## 
## Coefficients:
## (Intercept)            x  
##      6.5992      -0.3362
(m <- cov(y, x) / var(x)) # slope of regression
## [1] -0.3362361
cor(y, x) * sd(y) / sd(x) # the same with correlation
## [1] -0.3362361
mean(y) - m*mean(x)       # intercept
## [1] 6.599196

Из корреляции мы можем получить только индекс, описывающий линейные отношения между двумя переменными; в регрессии мы можем предсказать связь между более чем двумя переменными и можем использовать ее, чтобы определить, какие переменные x могут предсказать исходную переменную y .

Цитируя Altman DG, «Практическая статистика для медицинских исследований», Chapman & Hall, 1991, стр. 321: «Корреляция сводит набор данных к одному числу, которое не имеет прямого отношения к фактическим данным. Регрессия - гораздо более полезный метод, с результаты, которые явно связаны с полученным измерением. Сила отношения очевидна, и неопределенность может быть ясно видна из доверительных интервалов или интервалов прогнозирования ».

Регрессионный анализ - это методика изучения причины влияния взаимосвязи между двумя переменными. в то время как корреляционный анализ является техникой для изучения количественно отношения между двумя переменными.

Корреляция - это показатель (всего одно число) силы отношений. Регрессия - это анализ (оценка параметров модели и статистическая проверка их значимости) адекватности тех или иных функциональных отношений. Размер корреляции связан с тем, насколько точными будут прогнозы регрессии.

Корреляция - это термин в статистике, который определяет, существует ли связь между двумя, а затем степень взаимосвязи. Его диапазон от -1 до +1. В то время как регрессия означает возврат к средней. Исходя из регрессии, мы прогнозируем значение, оставляя одну переменную зависимой, а другую независимой, но следует уточнить значение переменной, которую мы хотим предсказать.