Что объясняет добавленный график переменных (график частичной регрессии) в множественной регрессии?

У меня есть модель набора данных Movies, и я использовал регрессию:

model <- lm(imdbVotes ~ imdbRating + tomatoRating + tomatoUserReviews+ I(genre1 ** 3.0) +I(genre2 ** 2.0)+I(genre3 ** 1.0), data = movies)
library(ggplot2)
res <- qplot(fitted(model), resid(model))
res+geom_hline(yintercept=0)

Который дал вывод:

Теперь я попытался сработать что-то под названием «График добавленной переменной» в первый раз и получил следующий вывод:

car::avPlots(model, id.n=2, id.cex=0.7)

Проблема в том, что я пытался понять добавленную переменную, используя Google, но я не мог понять ее глубину, видя график, я понял, что это своего рода представление перекоса, основанное на каждой входной переменной, связанной с выводом.

Могу ли я получить немного больше информации, например, как это оправдывает нормализацию данных?

Для иллюстрации я возьму менее сложную регрессионную модель $Y = \beta_1 + \beta_2 X_2 + \beta_3 X_3 + \epsilon$ которой переменные предиктора $X_2$ и $X_3$ могут быть коррелированы. Скажем, наклоны $\beta_2$ и $\beta_3$ оба положительны, поэтому мы можем сказать, что (i) $Y$ увеличивается с увеличением $X_2$ , если $X_3$ поддерживается постоянным, поскольку $\beta_2$ положительно; (ii) $Y$увеличивается с увеличением $X_3$ , если $X_2$ поддерживается постоянным, поскольку $\beta_3$ положительно.

Обратите внимание, что важно интерпретировать множественные коэффициенты регрессии, учитывая, что происходит, когда другие переменные остаются постоянными («при ​​прочих равных условиях»). Предположим, что я просто регрессировал $Y$ против $X_2$ с помощью модели $Y = \beta_1' + \beta_2' X_2 + \epsilon'$ . Моя оценка для коэффициента наклона $\beta_2'$ , который измеряет влияние на $Y$ увеличения на единицу в $X_2$ без удержания $X_3$постоянная, может отличаться от моей оценки $\beta_2$ от множественной регрессии, которая также измеряет влияние на $Y$ увеличения $X_2$ на одну единицу , но оно действительно сохраняет $X_3$ постоянным. Проблема с моей оценкой $\hat{\beta_2'}$ состоит в том, что она страдает от смещения без переменной, если $X_2$ и $X_3$ коррелированы.

Чтобы понять почему, представьте, что $X_2$ и $X_3$ имеют отрицательную корреляцию. Теперь, когда я увеличиваю $X_2$ на одну единицу, я знаю, что среднее значение $Y$ должно увеличиться, поскольку $\beta_2 > 0$ . Но , как $X_2$ увеличивается, если мы не будем держать $X_3$ константу , то $X_3$ имеет тенденцию к снижению, а с $\beta_3 > 0$ это будет иметь тенденцию к сокращению среднего значения $Y$ . Таким образом, общий эффект увеличения $X_2$ на одну единицу будет меньше, если я позволю $X_3$ варьировать также, следовательно$\beta_2' < \beta_2$ . Вещи становятся хужетем сильнее$X_2$ и$X_3$ коррелируют, и тем больше эффект$X_3$ через$\beta_3$ - в очень серьезном случае мы можем даже найти$\beta_2' < 0$ , даже если мы знаемчто, при прочих равных условиях,$X_2$ положительно влияет на$Y$ !

Надеюсь, теперь вы можете понять, почему построение графика $Y$ против $X_2$ было бы плохим способом визуализации отношений между $Y$ и $X_2$ в вашей модели. В моем примере ваш взгляд будет обращен к линии наилучшего соответствия с наклоном $\hat{\beta_2'}$ , которая не отражает $\hat{\beta_2}$ из вашей регрессионной модели. В худшем случае ваша модель может предсказать, что $Y$ увеличивается с увеличением $X_2$ (с другими постоянными переменными), и все же точки на графике показывают, что $Y$ уменьшается с увеличением $X_2$ .

Проблема в том, что в простом графике $Y$ против $X_2$ другие переменные не являются постоянными. Это важнейшее понимание преимущества добавленного графика зависимости (также называемого графиком частичной регрессии) - он использует теорему Фриша-Во-Ловелла, чтобы «частично исключить» влияние других предикторов. Горизонтальные и вертикальные оси на графике, пожалуй, легче всего понять * как « $X_2$ после учета других предикторов» и « $Y$ после учета других предикторов». Теперь вы можете посмотреть на отношения между $Y$ и $X_2$ только все другие предикторы были учтены, Например, наклон, который вы видите на каждом графике, теперь отражает коэффициенты частичной регрессии из вашей исходной модели множественной регрессии.

Значительная часть значения добавленной переменной отображается на этапе диагностики регрессии, тем более что остатки в добавленной переменной представляют собой именно остатки от исходной множественной регрессии. Это означает, что выбросы и гетероскедастичность можно идентифицировать аналогично взгляду на график простой, а не множественной регрессионной модели. Также можно увидеть влиятельные точки - это полезно при множественной регрессии, поскольку некоторые влиятельные точки неочевидны в исходных данных, прежде чем принять во внимание другие переменные. В моем примере умеренно большое значение $X_2$ может показаться неуместным в таблице данных, но если значение $X_3$ велико, несмотря на $X_2$ и $X_3$ будучи отрицательно коррелированным, то комбинация встречается редко. «Учет других предикторов», этозначение$X_2$ необычно велико и будет выделяться на графике добавленной переменной.

$*$ технической точки зрения они были бы остатками от запуска двух других множественных регрессий: остатки от регрессии$Y$ против всех предикторов, кроме$X_2$ идут по вертикальной оси, в то время как остатки от регрессии$X_2$ против всех других предикторов идут по горизонтальной оси. Это действительно то, о чемговорят вамлегенды «$Y$ дано другим» и «$X_2$ дано другим». Поскольку средний остаток от обеих этих регрессий равен нулю, средняя точка ($X_2$ заданная другими,$Y$для других) просто будет (0, 0), что объясняет, почему линия регрессии в добавленном графике переменных всегда проходит через начало координат. Но я часто нахожу, что упоминание осей - это просто остатки от других регрессий, сбивает с толку людей (возможно, неудивительно, поскольку мы сейчас говорим о четырех разных регрессиях!), Поэтому я постарался не останавливаться на этом вопросе. Постигайте их как « $X_2$ дано другим» и « $Y$ дано другим», и у вас все будет хорошо.

Есть ли что-нибудь, что действительно можно сказать о тенденциях, наблюдаемых на графиках?

Конечно, их наклоны представляют собой коэффициенты регрессии из исходной модели (коэффициенты частичной регрессии, все остальные предикторы остаются постоянными)