Как определить, когда регрессионная модель перегружена?

Когда вы выполняете эту работу, осознавая, что вы делаете, у вас появляется чувство, когда вы переоцениваете модель. Во-первых, вы можете отследить тренд или ухудшение скорректированного квадрата R модели. Также можно отследить аналогичное ухудшение значений p коэффициентов регрессии основных переменных.

Но когда вы просто читаете чужое исследование, и у вас нет понимания относительно процесса разработки собственной внутренней модели, как вы можете четко определить, является ли модель более подходящей или нет.

regression multivariate-analysis overfitting Sympa
источник

Просто чтобы дать пару идей по этому вопросу, если исследование раскрывает стандартную регрессионную статистику, вы можете сосредоточиться на t stats и p значениях коэффициентов. Если RSquare у модели высокое; но одна или несколько переменных имеют значение stat <2.0; это может быть красный флаг. Кроме того, если знак коэффициентов для некоторых переменных не поддается логике, это, вероятно, еще один красный флаг. Если исследование не раскрывает период задержки для модели, это может быть еще один красный флаг. Надеюсь, у вас будут другие и лучшие идеи.

Симпа

Один из способов - посмотреть, как модель работает с другими (но похожими) данными.

Шейн

Ответы:

Перекрестная проверка и регуляризация являются довольно распространенными методами предотвращения переоснащения. Для быстрого ознакомления я бы порекомендовал учебные слайды Эндрю Мура по использованию перекрестной проверки ( зеркало ) - обратите особое внимание на предостережения. Для более подробной информации, безусловно, прочитайте главы 3 и 7 EOSL , которые подробно охватывают тему и связанные с ней вопросы.

АРС
источник

Ух, спасибо, учебник Эндрю Мура по перекрестной проверке - мирового класса.

Симпа

Когда я сам подгоняю модель, я обычно использую информационные критерии во время процесса подбора, такие как AIC или BIC , или, альтернативно, тесты отношения правдоподобия для подбора моделей на основе максимального правдоподобия или F-тест для подбора моделей на основе наименьших квадратов.

Все концептуально похожи в том, что они штрафуют дополнительные параметры. Они устанавливают порог «дополнительной объяснительной силы» для каждого нового параметра, добавляемого в модель. Все они являются формой регуляризации .

Что касается моделей других, я просматриваю раздел методов, чтобы увидеть, используются ли такие методы, а также использовать практические правила, такие как количество наблюдений на параметр - если есть около 5 (или меньше) наблюдений на параметр, я начинаю удивляться.

Всегда помните, что переменная не обязательно должна быть «значимой» в модели, чтобы быть важной. Я могу быть нарушителем и должен быть включен на этой основе, если ваша цель - оценить влияние других переменных.

Thylacoleo
источник

Спасибо за ссылки на тесты AIC и BIC. Добавляют ли они большую ценность по сравнению с Скорректированным квадратом R, что делает то же самое, штрафуя модели за добавление переменных?

Симпа

@Gaeten, Скорректированный R-квадрат будет увеличиваться, когда F-критерий модели «до» и «после» значителен, поэтому они эквивалентны, за исключением того, что обычный расчет скорректированного R-квадрата не возвращает p-значение.

Thylacoleo

@Gaeten - AIC и BIC являются более общими, чем F-тесты и скорректированные R-квадраты, которые обычно ограничены моделями, подходящими по методу наименьших квадратов. AIC & BIC можно использовать для любой модели, в которой можно рассчитать вероятность и узнать (или оценить) степени свободы.

Thylacoleo

Тестирование набора переменных не является формой регуляризации (сжатия). А тестирование дает искушение удалить переменные, что никак не связано с уменьшением переобучения.

Фрэнк Харрелл

@FrankHarrell Можете ли вы уточнить этот ваш старый комментарий? Мне кажется, что удаление переменной уменьшило бы переоснащение при прочих равных условиях, поскольку степени свободы, доступной для переобучения, уменьшаются. Я уверен, что мне здесь не хватает нюансов.

Лепидоптерист

$BIC_{m}$ $M$

P (model m is true | one of the M models is true) \approx \frac{w_{m} \exp (- \frac{1}{2} B I C_{m})}{\sum_{j = 1}^{M} w_{j} \exp (- \frac{1}{2} B I C_{j})}

$P(\text{model m is true}|\text{one of the M models is true})\approx\frac{w_{m}\exp\left(-\frac{1}{2}BIC_{m}\right)}{\sum_{j=1}^{M}w_{j}\exp\left(-\frac{1}{2}BIC_{j}\right)}$

= \frac{1}{1 + Σ_{J \neq м}^{M} \frac{{вес}_{J}}{{вес}_{м}} ехр (- \frac{1}{2} (В я С_{J} - В я С_{м}))}

$=\frac{1}{1+\sum_{j\neq m}^{M}\frac{w_{j}}{w_{m}}\exp\left(-\frac{1}{2}(BIC_{j}-BIC_{m})\right)}$

$w_{j}$ $w_{j}=1$

$BIC_{final}<BIC_{j}$ $p$ $d$

M \geq 1 + п + (п - 1) + \dots + (п - d + 1) знак равно 1 + \frac{п (п - 1) - (п - d) (п - d - 1)}{2}

$M\geq 1+p+(p-1)+\dots+(p-d+1)=1+\frac{p(p-1)-(p-d)(p-d-1)}{2}$

M \geq 1 + п + (п - 1) + \dots + (d + 1) знак равно 1 + \frac{п (п - 1) - d (d - 1)}{2}

$M\geq 1+p+(p-1)+\dots+(d+1)=1+\frac{p(p-1)-d(d-1)}{2}$

$M$ $BIC_{j}$ $\lambda$ $BIC_{m}=BIC_{j}-\lambda$

\frac{1}{1 + (M - 1) ехр (- \frac{λ}{2})}

$\frac{1}{1+(M-1)\exp\left(-\frac{\lambda}{2}\right)}$

$\lambda$ $M$ $M$

\frac{1}{1 + \frac{п (п - 1) - d (d - 1)}{2} ехр (- \frac{λ}{2})}

$\frac{1}{1+\frac{p(p-1)-d(d-1)}{2}\exp\left(-\frac{\lambda}{2}\right)}$

$p=50$ $d=20$ $\lambda$ $P_{0}$

λ > - 2 L о грамм (\frac{2 (1 - п_{0})}{п_{0} [п (п - 1) - d (d - 1)]})

$\lambda > -2 log\left(\frac{2(1-P_{0})}{P_{0}[p(p-1)-d(d-1)]}\right)$

$P_{0}=0.9$ $\lambda > 18.28$

probabilityislogic
источник

+1, это действительно умно. Это где-то опубликовано? Есть ли официальная ссылка на это?

gung - Восстановить Монику

@ Gung - почему спасибо. К сожалению, это был ответ «с обратной стороны». Я уверен, что есть проблемы с этим, если бы вы расследовали более подробно.

вероятностная