множественная регрессия и множественные сравнения

Скажем, я подхожу для множественной регрессии p объясняющих переменных. T-тест позволит мне проверить, является ли какой-либо один из них значимым ( ). Я могу сделать частичный F-тест, чтобы проверить, является ли какое-то их подмножество значимым ( ).H 0 : β i = β j = . , , = β k = $H_0: \beta_i = 0$$H_0: \beta_i=\beta_j=...=\beta_k=0$

Однако я часто вижу, что кто-то получает 5 p-значений из 5 t-тестов (при условии, что у них было 5 ковариат) и сохраняет только те, у которых p-значение <0,05. Это кажется немного неправильным, так как действительно должна быть проверка на множественное сравнение, нет? Действительно ли справедливо сказать, что что-то вроде $\beta_1$ и $\beta_2$ значимо, а $\beta_3$ , $\beta_4$ и $\beta_5$ нет?

На связанной ноте, скажем, я запускаю 2 регрессии на 2 отдельных моделях (разные результаты). Нужно ли проводить многократную проверку для сравнения значимых параметров между двумя результатами?

Изменить: Чтобы отличить от аналогичного вопроса, есть ли другая интерпретация для р-значений, кроме: «B_i является (в) значимым, при корректировке для всех других ковариат»? Похоже, что эта интерпретация не позволяет мне смотреть на каждый B_i и отбрасывать те, которые меньше 0,5 (что аналогично другому посту).

Мне кажется, что верный способ проверить, есть ли отношения между B_i и Y, состоит в том, чтобы получить значение p коэффициента корреляции для каждой ковариации и затем выполнить мультикомплекс (хотя это определенно потеряло бы сигнал).

Наконец, скажем, я вычислил корреляцию между B1 / Y1, B2 / Y1 и B3 / Y1 (таким образом, три значения p). Безотносительно я также сделал корреляцию между T1 / Y2, T2 / Y2, T3 / Y2. Я предполагаю, что правильная корректировка Бонферрони была бы 6 для всех 6 тестов вместе (а не 3 для первой группы и 3 для второй группы - и, таким образом, получая 2 «полу» -регулируемые p-значения).

Вы правы. Проблема множественных сравнений существует повсюду, но из-за того, как она обычно преподается, люди думают, что она касается сравнения множества групп друг с другом через целую кучу тестов. В действительности, есть много примеров, когда существует проблема множественных сравнений, но где это не похоже на множество парных сравнений; например, если у вас много непрерывных переменных, и вы задаетесь вопросом, коррелированы ли какие-либо из них, у вас возникнет проблема множественных сравнений (см. здесь: посмотрите, и вы найдете корреляцию ). $t$

Другой пример - тот, который вы подняли. Если бы вы запустили множественную регрессию с 20 переменными, и вы использовали качестве порога, вы бы ожидали, что одна из ваших переменных будет «значимой» только по случайности, даже если все нули были истинными. Проблема множественных сравнений просто вытекает из математики проведения большого количества анализов. Если бы все нулевые гипотезы были верными, а переменные были совершенно некоррелированными, вероятность не ошибочно отклонить любое истинное нулевое значение была бы (например, при это равно ). $\alpha=.05$1 - ( 1 - α ) р р = 5 .23$1-(1-\alpha)^p$$p=5$$.23$

Первой стратегией, которая поможет избежать этого, является одновременное тестирование вашей модели. Если вы подходите к регрессии OLS, большая часть программного обеспечения даст вам глобальный тест в качестве части вашего вывода по умолчанию. Если вы используете обобщенную линейную модель, большая часть программного обеспечения даст вам аналогичный глобальный критерий отношения правдоподобия. Этот тест даст вам некоторую защиту от ошибок типа I из-за проблемы многократных сравнений (см. Мой ответ здесь: значение коэффициентов в линейной регрессии: значимый t-критерий против незначимой F-статистики ). Аналогичный случай, когда у вас есть категориальная переменная, которая представлена ​​несколькими фиктивными кодами; Вы не хотели бы интерпретировать эти$F$т$t$-test, но отбрасывает все фиктивные коды и вместо этого выполняет тест вложенной модели.

Другой возможной стратегией является использование процедуры альфа-корректировки, такой как коррекция Бонферрони. Вы должны понимать, что это снизит ваши возможности, а также уменьшит частоту ошибок типа I в вашей семье. Стоит ли этот компромисс - это решение для вас. (FWIW, я обычно не использую альфа-поправки в множественной регрессии.)

Что касается вопроса использования значений для выбора модели, я думаю, что это действительно плохая идея. Я бы не стал переходить от модели с 5 переменными к одной только с 2, потому что остальные были «несущественными». Когда люди делают это, они смещают свою модель. Это может помочь вам прочитать мой ответ здесь: алгоритмы для автоматического выбора модели, чтобы понять это лучше. $p$

Что касается вашего обновления, я бы не советовал вам сначала оценивать одномерные корреляции, чтобы решить, какие переменные использовать в окончательной модели множественной регрессии. Выполнение этого приведет к проблемам с эндогенностью, если переменные совершенно не связаны друг с другом. Я обсуждал эту проблему в своем ответе здесь: Оценка вместо$b_1x_1+b_2x_2$$b_1x_1+b_2x_2+b_3x_3$ .

Что касается вопроса о том, как обрабатывать анализы с различными зависимыми переменными, то, хотите ли вы использовать какие-либо корректировки, зависит от того, как вы видите анализы относительно друг друга. Традиционная идея состоит в том, чтобы определить, считаются ли они «семьей». Это обсуждается здесь: что может быть четким, практическим определением для «семейства гипотез»? Вы также можете прочитать эту тему: Методы для прогнозирования нескольких зависимых переменных .

На практическом уровне, я думаю, нужно также рассмотреть вопрос о том, отражают ли бета-версии уровни категориальных переменных (то есть манекенов). В этих обстоятельствах разумно интересоваться, отличается ли данная Бета от (значимой) референтной Беты. Но прежде чем даже проводить парные сравнения, нужно было бы узнать, важны ли в целом уровни категориальной переменной (с помощью совместного F-теста или теста отношения правдоподобия). Делать это имеет преимущество использования меньшего количества df