Почему можно получить значительную статистику F (p <.001), но не значимые t-тесты регрессора?

Почему при множественной линейной регрессии возможно иметь очень значительную F-статистику (p <.001), но иметь очень высокие p-значения во всех t-тестах регрессора?

В моей модели 10 регрессоров. Один имеет значение р 0,1, а остальные выше 0,9

Для решения этой проблемы см. Следующий вопрос .

Как упоминает Роб, это происходит, когда у вас есть сильно коррелированные переменные. Стандартный пример, который я использую, - это прогнозирование веса по размеру обуви. Вы можете предсказать вес одинаково хорошо с правым или левым размером обуви. Но вместе это не сработает.

Краткий пример симуляции

RSS = 3:10 #Right shoe size
LSS = rnorm(RSS, RSS, 0.1) #Left shoe size - similar to RSS
cor(LSS, RSS) #correlation ~ 0.99

weights = 120 + rnorm(RSS, 10*RSS, 10)

##Fit a joint model
m = lm(weights ~ LSS + RSS)

##F-value is very small, but neither LSS or RSS are significant
summary(m)

##Fitting RSS or LSS separately gives a significant result. 
summary(lm(weights ~ LSS))

Требуется очень небольшая корреляция между независимыми переменными, чтобы вызвать это.

Чтобы понять почему, попробуйте следующее:

• Нарисуйте 50 наборов из десяти векторов с коэффициентами в стандартной нормали.$(x_1, x_2, \ldots, x_{10})$

• Вычислить для . Это делает индивидуально нормальным, но с некоторыми корреляциями между ними.$y_i = (x_i + x_{i+1})/\sqrt{2}$$i = 1, 2, \ldots, 9$$y_i$

• Вычислить . Обратите внимание, что .$w = x_1 + x_2 + \cdots + x_{10}$$w = \sqrt{2}(y_1 + y_3 + y_5 + y_7 + y_9)$

• Добавьте некоторую независимую нормально распределенную ошибку в . Немного поэкспериментировав, я обнаружил, что с работает довольно хорошо. Таким образом, является суммой плюс некоторая ошибка. Кроме того , сумма некоторых в плюс та же ошибка.z = w + ε ε ∼ N ( 0 , 6 ) z x i y $w$$z = w + \varepsilon$$\varepsilon \sim N(0, 6)$$z$$x_i$$y_i$

Мы будем считать независимыми переменными, а зависимой переменной.$y_i$$z$

Вот матрица диаграммы рассеяния одного такого набора данных с вдоль верха и слева и в порядке.y $z$$y_i$

Ожидаемые корреляции между и являются при и в противном случае. Реализованные корреляции колеблются до 62%. Они появляются как более узкие диаграммы рассеяния рядом с диагональю.у J +1 / 2 | я - J | = 1 $y_i$$y_j$$1/2$$|i-j|=1$$0$

Посмотрите на регрессию против :y $z$$y_i$

      Source |       SS       df       MS              Number of obs =      50
-------------+------------------------------           F(  9,    40) =    4.57
       Model |  1684.15999     9  187.128887           Prob > F      =  0.0003
    Residual |  1636.70545    40  40.9176363           R-squared     =  0.5071
-------------+------------------------------           Adj R-squared =  0.3963
       Total |  3320.86544    49  67.7727641           Root MSE      =  6.3967

------------------------------------------------------------------------------
           z |      Coef.   Std. Err.      t    P>|t|     [95% Conf. Interval]
-------------+----------------------------------------------------------------
          y1 |   2.184007   1.264074     1.73   0.092    -.3707815    4.738795
          y2 |   1.537829   1.809436     0.85   0.400    -2.119178    5.194837
          y3 |   2.621185   2.140416     1.22   0.228    -1.704757    6.947127
          y4 |   .6024704   2.176045     0.28   0.783    -3.795481    5.000421
          y5 |   1.692758   2.196725     0.77   0.445    -2.746989    6.132506
          y6 |   .0290429   2.094395     0.01   0.989    -4.203888    4.261974
          y7 |   .7794273   2.197227     0.35   0.725    -3.661333    5.220188
          y8 |  -2.485206    2.19327    -1.13   0.264     -6.91797    1.947558
          y9 |   1.844671   1.744538     1.06   0.297    -1.681172    5.370514
       _cons |   .8498024   .9613522     0.88   0.382    -1.093163    2.792768
------------------------------------------------------------------------------

F-статистика очень значительна, но ни одна из независимых переменных не имеет значения, даже без какой-либо корректировки для всех 9 из них.

Чтобы увидеть, что происходит, рассмотрим регрессию против нечетного :y $z$$y_i$

      Source |       SS       df       MS              Number of obs =      50
-------------+------------------------------           F(  5,    44) =    7.77
       Model |  1556.88498     5  311.376997           Prob > F      =  0.0000
    Residual |  1763.98046    44  40.0904649           R-squared     =  0.4688
-------------+------------------------------           Adj R-squared =  0.4085
       Total |  3320.86544    49  67.7727641           Root MSE      =  6.3317

------------------------------------------------------------------------------
           z |      Coef.   Std. Err.      t    P>|t|     [95% Conf. Interval]
-------------+----------------------------------------------------------------
          y1 |   2.943948   .8138525     3.62   0.001     1.303736     4.58416
          y3 |   3.403871   1.080173     3.15   0.003     1.226925    5.580818
          y5 |   2.458887    .955118     2.57   0.013      .533973    4.383801
          y7 |  -.3859711   .9742503    -0.40   0.694    -2.349443    1.577501
          y9 |   .1298614   .9795983     0.13   0.895    -1.844389    2.104112
       _cons |   1.118512   .9241601     1.21   0.233    -.7440107    2.981034
------------------------------------------------------------------------------

Некоторые из этих переменных очень важны, даже с поправкой Бонферрони. (Гораздо больше можно сказать, посмотрев на эти результаты, но это отвлечет нас от основного момента.)

$z$$y_2, y_4, y_6, y_8$$z$

$y_i$

Из этого можно сделать один вывод : если в модель включено слишком много переменных, они могут маскировать действительно значимые переменные. Первым признаком этого является очень значимая общая F-статистика, сопровождаемая не столь значимыми t-тестами для отдельных коэффициентов. (Даже если некоторые из переменных являются индивидуально значимыми, это не означает автоматически, что другие не являются. Это один из основных недостатков стратегий поэтапной регрессии: они становятся жертвами этой проблемы маскирования.) Кстати, факторы инфляции дисперсиив первом диапазоне регрессии от 2,55 до 6,09 со средним значением 4,79: просто на границе диагностики некоторой мультиколлинеарности в соответствии с наиболее консервативными эмпирическими правилами; значительно ниже порога в соответствии с другими правилами (где 10 - верхний предел).

Мультиколлинеарность

• $R^2$
• Конечно, мультиколлинеарность - это не просто абсолютный порог. Стандартные ошибки на коэффициентах регрессии будут увеличиваться по мере увеличения взаимосвязей с фокусным предиктором.

Несколько почти значимых предикторов

• Даже если у вас не было мультиколлинеарности, вы все равно можете получить незначимые предикторы и общую значимую модель, если два или более отдельных предикторов близки к значимым и, таким образом, в совокупности общий прогноз превышает порог статистической значимости. Например, при использовании альфа 0,05, если у вас есть два предиктора с p-значениями 0,06 и 0,07, я не удивлюсь, если в общей модели p <0,05.

Это происходит, когда предикторы сильно коррелированы. Представьте себе ситуацию, когда есть только два предиктора с очень высокой корреляцией. По отдельности они оба также тесно связаны с переменной ответа. Следовательно, F-критерий имеет низкое значение p (это говорит о том, что предикторы вместе очень важны для объяснения вариации в ответной переменной). Но t-критерий для каждого предиктора имеет высокое значение p, потому что после учета влияния другого предиктора мало что можно объяснить.

$X_1 \sim N(0,1)$$X_2 = a X_1 + \delta$$Y = bX_1 + cX_2 + \epsilon$$\delta$$\epsilon$$X_1$$N(0,1)$

$a=1$$b=2$$c=-1$

Вы сказали, что понимаете вопрос о корреляции переменных и о том, что регрессия незначительно лучше; это, вероятно, означает, что вы были обусловлены частым упоминанием мультиколлинеарности, но вам необходимо улучшить понимание геометрии наименьших квадратов.

Ключевым словом для поиска будет «коллинеарность» или «мультиколлинеарность». Это можно обнаружить с помощью диагностики, такой как дисперсионные коэффициенты инфляции (VIFs), или методами, описанными в учебнике «Диагностика регрессии: выявление влиятельных данных и источников коллинеарности» Белсли, Куха и Уэлша. VIF гораздо проще понять, но они не могут справиться с коллинеарностью, включающей перехват (т. Е. Предикторы, которые почти постоянны сами по себе или в линейной комбинации) - наоборот, диагностика BKW гораздо менее интуитивна, но может иметь дело с коллинеарностью, включающей перехват.

Ответ, который вы получите, зависит от вопроса, который вы задаете. В дополнение к уже сделанным пунктам, отдельные значения F параметров и общие значения F модели отвечают на разные вопросы, поэтому они получают разные ответы. Я видел, как это происходит, даже когда отдельные значения F не настолько близки к значимым, особенно если в модели более 2 или 3 IV. Я не знаю ни одного способа объединить отдельные p-значения и получить что-то осмысленное, хотя, возможно, есть способ.

Еще одна вещь, которую нужно иметь в виду, состоит в том, что каждый из тестов на отдельные коэффициенты предполагает, что все остальные предикторы находятся в модели. Другими словами, каждый предиктор не имеет значения, пока все остальные предикторы находятся в модели. Должно быть какое-то взаимодействие или взаимозависимость между двумя или более вашими предикторами.

Как кто-то еще спросил выше - как вы диагностировали отсутствие мультиколлинеарности?

Один из способов понять это - геометрия наименьших квадратов, как предлагает @StasK.

Другое - осознать, что это означает, что X относится к Y при управлении другими переменными, но не в одиночку. Вы говорите, что X относится к уникальной дисперсии в Y. Это правильно. Однако уникальная дисперсия Y отличается от общей дисперсии. Итак, какую дисперсию удаляют другие переменные?

Было бы полезно, если бы вы могли сообщить нам свои переменные.