Тестирование разницы в AIC двух не вложенных моделей

12

Весь смысл AIC или любого другого информационного критерия в том, что чем меньше, тем лучше. Поэтому, если у меня есть две модели M1: y = a0 + XA + e и M2: y = b0 + ZB + u, и если AIC первого (A1) меньше, чем у второго (A2), то M1 имеет лучше подходит с точки зрения теории информации. Но есть ли эталон отсечки для разницы A1-A2? Насколько меньше на самом деле меньше? Другими словами, есть ли тест для (А1-А2), отличный от глазного яблока?

Редактировать: Петр / Дмитрий ... Спасибо за ответ. На самом деле, это тот случай, когда мой основной опыт противоречит моему статистическому опыту. По сути, проблема заключается не в выборе между двумя моделями, а в проверке, добавляют ли две переменные, которые, как я знаю, в значительной степени эквивалентные, эквивалентные объемы информации (фактически, одна переменная в первой модели и вектор во второй. Подумайте о случае куча переменных по сравнению с их индексом.) Как отметил Дмитрий, лучшей ставкой, похоже, является тест Кокса. Но есть ли способ на самом деле проверить разницу между информационным содержанием двух моделей?

user3671
источник
Вы также можете быть заинтересованы в проверке Wagonmakers et al. (2004). Оценка модели мимикрии с помощью параметрической начальной загрузки. Журнал математической психологии, 48 , 28-50. ( pdf )
gung - Восстановить Монику

Ответы:

13

Является ли вопрос любопытства, т.е. вы не удовлетворены моим ответом здесь ? Если не...

Дальнейшее исследование этого сложного вопроса показало, что существует широко распространенное эмпирическое правило, согласно которому две модели неразличимы по критерию если различие . То же самое вы действительно прочтете в статье в Википедии об (обратите внимание, что ссылка кликабельна!). Просто для тех, кто не нажимает на ссылки:| A I C 1 - A I C 2 | < 2 A I CAIC|AIC1AIC2|<2AIC

A I C A I CAIC оценивает относительную поддержку модели. Чтобы применить это на практике, мы начнем с набора моделей-кандидатов, а затем найдем соответствующие значения моделей . Затем определите минимальное значение . Выбор модели может быть сделан следующим образом.AICAIC

Как грубое практическое правило, модели, имеющие пределах минимума, имеют существенную поддержку и должны принимать во внимание выводы. Модели с пределах примерно от минимума имеют значительно меньшую поддержку, в то время как модели с выше минимума либо практически не имеют поддержки и могут быть исключены из дальнейшего рассмотрения, либо, по крайней мере, не могут объяснить некоторые существенные структурные различия в данные.AIC12AIC47AIC>10

Более общий подход заключается в следующем ...

Обозначим значения моделей-кандидатов через , . Пусть обозначает минимум этих значений. Тогда можно интерпретировать как относительную вероятность того, что модель минимизирует (ожидаемую оценочную) потерю информации.AICAIC1AIC2,AIC3,,AICRAICmine(AICminAICi)/2i

В качестве примера предположим, что в наборе кандидатов было три модели со значениями , и . Тогда вторая модель раз вероятнее, чем первая модель, чтобы минимизировать потери информации, а третья модель раза так же вероятно, как и первая модель, чтобы минимизировать потери информации. В этом случае мы могли бы опустить третью модель из дальнейшего рассмотрения и взять средневзвешенное значение первых двух моделей с весами и соответственно. Статистический вывод будет тогда основан на взвешенной мультимодели.AIC100102110e(100102)/2=0.368e(100110)/2=0.00710.368

Хорошее объяснение и полезные предложения, на мой взгляд. Только не бойтесь читать то, что кликабельно!

Кроме того , обратите внимание еще раз, менее предпочтителен для крупномасштабных наборов данных. В дополнение к может оказаться полезным применить исправленную смещения версию критерия (вы можете использовать этот код или использовать формулу , где количество расчетных параметров). Эмпирическое правило будет таким же, хотя. AICBICAICAICcR AICc=AIC+2p(p+1)np1p

Дмитрий Челов
источник
Привет Дмитрий ... Я знал, что ты это заметишь. На самом деле, ваш ответ на первоначальный вопрос положил начало этому движению поезда. Я думал, что это сделает интересный самостоятельный вопрос. Проблема, с которой я сталкиваюсь, заключается в том, что статистические тесты (включая тест Кокса) являются частыми, и поэтому вы можете проверить различия между двумя моделями на некотором предопределенном уровне значимости. Но AIC / BIC основаны на вероятности, и мне кажется, что числа нельзя сравнивать напрямую, за исключением, как вы указали, практического правила. Поскольку показатели IC зависят от масштаба, абсолютное значение (2) может быть проблематичным, нет?
user3671
@user, абсолютное значение не проблематично. Вы можете использовать метод относительной вероятности, поэтому вы, вероятно, будете более уверены в этом, чем какое-то приятное значение . Под эффектом масштаба вы имеете в виду, когда критерий менее смещен в малых выборках и соответствует в больших? Попробуйте использовать согласованный и для небольших образцов также будет хорошей альтернативой. Правило превью все еще в использовании. 22BICAICc
Дмитрий Челов
1
@DmitrijCelov (+1 некоторое время назад) хороший ответ - спасибо за вставку текста, так как в Википедии больше нет пунктов, описанных в первых двух абзацах. Удаленный параграф цитировался как p. 446: Burnham, K. P., and Anderson, D.R. (2002). Model Selection and Multimodel Inference: A Practical Information-Theoretic Approach, 2nd ed. Springer-Verlag. ISBN 0-387-95364-7. и вики-страница до ревизии находится здесь
Джеймс Стэнли,
Я должен отметить, что я не читал книгу Бернхэма, и что старая ссылка на вики подсказывала, что цитируемый текст был перефразированным. К вашему сведению, вики-страница была отредактирована в 16:52, 15 апреля 2011 года.
Джеймс Стэнли,
Не могли бы вы помочь с этим вопросом? stats.stackexchange.com/questions/349883/…
Tripartio
8

Я думаю, что это может быть попытка получить то, чего вы на самом деле не хотите.

Выбор модели не наука. За исключением редких обстоятельств, не существует ни одной совершенной модели, ни даже одной «истинной» модели; редко бывает даже одна «лучшая» модель. Обсуждения AIC против AICc против BIC против SBC против чего-либо оставляют меня в некотором замешательстве. Я думаю, что идея состоит в том, чтобы получить несколько хороших моделей. Затем вы выбираете среди них на основе сочетания основного опыта и статистических идей. Если вы не обладаете существенным опытом (редко); гораздо реже, чем думает большинство людей), выберите самый низкий AIC (или AICc или любой другой). Но у вас обычно есть некоторый опыт - иначе почему вы исследуете эти конкретные переменные?

Питер Флом - Восстановить Монику
источник
2
+1 за подчеркивание необходимости как статистической, так и предметной экспертизы.
ЧЛ