Как центрирование данных избавляет от перехвата в регрессии и PCA?

Я продолжаю читать о случаях, когда мы центрируем данные (например, с помощью регуляризации или PCA), чтобы удалить перехват (как упомянуто в этом вопросе ). Я знаю, что это просто, но мне трудно понять это интуитивно. Может ли кто-нибудь предоставить интуицию или ссылку, которую я могу прочитать?

regression pca centering сельдь
источник

Это очень особый случай «контроля за другими переменными», как объяснялось (несколькими способами) на stats.stackexchange.com/questions/17336/… . Контролируемая «переменная» - это постоянный (перехваченный) член.

whuber

Ответы:

Могут ли эти картинки помочь?

Первые 2 картины о регрессии. Центрирование данных не изменяет наклон линии регрессии, но делает пересечение равным 0.

введите описание изображения здесь

$^1$

введите описание изображения здесь

$^1$

ttnphns
источник

\bar{y} - \bar{X} β

$\bar{y} - \bar{X}\beta$

PCA is maximizing varianceЭто не совсем так. PCA максимизирует (по 1-му ПК) сумму квадратов отклонений от начала координат. Только если данные были предварительно центрированы (само центрирование не является частью PCA), это максимизирует дисперсию.

ttnphns

PS Обратите внимание, что вычисление ковариаций или корреляций подразумевает центрирование

ttnphns

> PS Обратите внимание, что вычисление ковариаций или корреляций подразумевает центрирование - ttnphns 27 августа '12 в 11:47. Хотя я согласен с вашими другими комментариями, и ковариация, и корреляция НЕ подразумевают центрирование. Ни cor, ни covar не изменяют значение, когда к данным применяется аддитивная константа.

TPM

Это задом наперед. Аддитивные константы действительно не влияют на корреляции, но это потому, что они вычитаются в вычислениях, как указывал @ttphns. Кроме того, это не новый ответ, а комментарий. Мы понимаем, что у вас еще недостаточно репутации, чтобы комментировать, поэтому, я надеюсь, это будет перемещено пользователем с достаточной репутацией после того, как я его отмечу.

Ник Кокс