В небольшом наборе данных ( ), с которым я работаю, несколько переменных дают мне идеальный прогноз / разделение . Таким образом, я использую логистическую регрессию Фёрта для решения этой проблемы.
Если я выберу лучшую модель по AIC или BIC , должен ли я включить штрафной штраф Ферт в вероятность при вычислении этих информационных критериев?
Ответы:
Если вы хотите обосновать использование BIC: вы можете заменить максимальное правдоподобие оценкой максимального апостериорного значения (MAP), и полученный критерий типа BIC остается асимптотически верным (в качестве размера выборки ). Как упомянуто @probabilityislogic, логистическая регрессия Фёрта эквивалентна использованию априора Джеффри (так что то, что вы получаете из своего регрессионного соответствия, это MAP).n → ∞
BIC - это псевдобайесовский критерий, который (приблизительно) получен с использованием разложения вероятности вокруг оценки максимального правдоподобия . Таким образом, он игнорирует предыдущее, но эффект последнего исчезает, когда информация концентрируется в вероятности.
В качестве побочного замечания, регрессия Фёрта также устраняет смещение первого порядка в экспоненциальных семействах.
источник