Почему сумма квадратов не увеличивается при добавлении пояснительной переменной?

9

В моем эконометрическом учебнике (Вводная эконометрика), посвященном МЖС, автор пишет: «SSR должен падать, когда добавляется еще одна объясняющая переменная». Почему это?

regression optimization econometrics intuition sums-of-squares Эрик Сюй
источник

1

По сути, потому что если линейная связь со следующей переменной отсутствует (частичная корреляция 0 выборок), SSR останется прежним. Если вообще существует какая-либо связь, следующая переменная может быть использована для уменьшения SSR.

Glen_b

3

Утверждение верное по духу, но не совсем верно: SSR останется прежним (и не упадет) при добавлении любой переменной, которая является линейной комбинацией существующих переменных. В конце концов, игнорируя новую переменную, вы можете достичь того же минимального значения SSR, которое вы достигли со старой переменной, поэтому добавление новой переменной никогда не ухудшит ситуацию.

whuber

Я ответил на аналогичный вопрос здесь: stats.stackexchange.com/questions/306267/… . Вы можете найти это полезным.

Джош

18

I : y_{i} = β_{0} + β_{1} x_{1 i} + ϵ_{i}

$I \colon y_i=\beta_0 + \beta_1 x_{1i}+\epsilon_{i}$

I I : y_{i} = β_{0} + β_{1} x_{1 i} + β_{2} x_{2 i} + ϵ_{i}

$II \colon y_i = \beta_0 + \beta_1 x_{1i} + \beta_2 x_{2i} + \epsilon_i$

{SSR}_{1} = \sum_{i} (y_{i} - β_{0} - β_{1} x_{1 i})^{2}

$\text{SSR}_1 = \sum_i (y_i-\beta_0-\beta_1 x_{1i})^2$

{SSR}_{2} = \sum_{i} (y_{i} - β_{0} - β_{1} x_{1 i} - β_{2} x_{2 i})^{2}

$\text{SSR}_2 = \sum_i (y_i-\beta_0-\beta_1 x_{1i}-\beta_2 x_{2i})^2$

β_{0}, β_{1}

$\beta_0, \beta_1$

β_{2} = 0

$\beta_2=0$

β_{2}

$\beta_2$

Подводя итог, можно сказать, что модели являются вложенными, в том смысле, что все, что мы можем моделировать с моделью 1, может быть сопоставлено с моделью два, модель два является более общей, чем модель 1. Таким образом, при оптимизации у нас больше свободы с моделью два, поэтому всегда найду лучшее решение.

Это на самом деле не имеет ничего общего со статистикой, но является общим фактом об оптимизации.

Къетил б Халворсен
источник

1

Не думал таким образом, действительно полезно!

Эрик Сюй

1

SSR - это мера расхождения между данными и моделью оценки.

Если у вас есть возможность принять во внимание другую переменную, то, если эта переменная содержит больше информации, подгонка, естественно, будет более жесткой, что означает более низкий SSR.

Облачный Скайуокер
источник

Почему сумма квадратов не увеличивается при добавлении пояснительной переменной?

Ответы: