В поисках теоретического понимания логистической регрессии Ферт

Я пытаюсь понять логистическую регрессию Фёрта (метод обработки идеального / полного или квази-полного разделения в логистической регрессии), чтобы я мог объяснить это другим в упрощенном виде. У кого-нибудь есть придуманное объяснение того, что модифицирует оценка Фёрта для MLE?

Я прочитал, как мог, Ферт (1993), и я понимаю, что к функции оценки применяется корректировка. Я не совсем понимаю происхождение и обоснование исправления и какую роль играет функция оценки в MLE.

Извините, если это элементарные знания. Литература, которую я рассмотрел, кажется, требует более глубокого понимания MLE, чем у меня есть.

Коррекция Фёрта эквивалентна указанию априорного значения Джеффри и поиску способа последующего распределения. Грубо говоря, он добавляет половину наблюдения к набору данных, предполагая, что истинные значения параметров регрессии равны нулю.

Работа Ферта является примером асимптотики высшего порядка. Нулевой порядок, так сказать, обеспечивается законами больших чисел: в больших выборках где - истинное значение. Возможно, вы узнали, что MLE асимптотически нормальны, примерно потому, что они основаны на нелинейных преобразованиях сумм переменных iid (баллов). Это приближение первого порядка: где - это нормальная переменная с нулевым средним и дисперсией (или матрицей var-cov), которая является обратной информацией Фишера для одного наблюдения. Статистика теста отношения правдоподобия асимптотическиthetas0thetasп=thetas0+О(п$\hat \theta_n \approx \theta_0$$\theta_0$$\theta_n = \theta_0 + O(n^{-1/2}) = \theta_0 + v_1 n^{-1/2} + o(n^{-1/2})$$v_1$$\sigma_1^2$$n(\hat\theta_n - \theta_0)^2/\sigma_1^2 \sim \chi^2_1$ или какими бы то ни было многомерное расширение внутренних произведений и обратных ковариационных матриц.

Асимптотика более высокого порядка пытается узнать что-то об этом следующем слагаемом , обычно путем выявления следующего слагаемого . Таким образом, оценки и статистика тестов могут включать небольшие выборочные отклонения порядка (если вы видите статью с надписью «у нас беспристрастные MLE», эти люди, вероятно, не знают, о чем говорят). Наиболее известной коррекцией такого рода является коррекция Бартлетта для тестов отношения правдоподобия. Поправка Ферта также имеет такой порядок: она добавляет к вероятности фиксированное количество (начало стр. 30), а в больших выборках относительный вклад этой величины исчезает со скоростью из уменьшенный информацией об образце.$o(n^{-1/2})$$O(n^{-1})$$1/n$$\frac12 \ln \det I(\theta)$$1/n$