Меры сложности модели

Как мы можем сравнить сложность двух моделей с одинаковым количеством параметров?

Изменить 09/19 : Чтобы уточнить, сложность модели является мерой того, насколько трудно учиться на ограниченных данных. Когда две модели в равной степени соответствуют существующим данным, модель с меньшей сложностью даст меньшую ошибку в будущих данных. Когда используются аппроксимации, технически это не всегда может быть правдой, но это нормально, если это имеет место на практике. Различные приближения дают разные меры сложности

Помимо различных показателей минимальной длины описания (например, нормализованной максимальной вероятности, аппроксимации информации Фишера), есть два других метода, которые стоит упомянуть:

1. Параметрический Bootstrap . Это намного легче осуществить, чем требовательные меры MDL. Хорошая статья принадлежит Wagenmaker и его коллегам:
   Wagenmakers, E.-J., Ratcliff R., Gomez, P. & Iverson, GJ (2004). Оценка модели мимикрии с помощью параметрической начальной загрузки . Журнал математической психологии , 48, 28-50.
   Аннотация:

   Мы представляем общую процедуру выборки для количественной оценки мимикрии модели, определяемой как способность модели учитывать данные, сгенерированные конкурирующей моделью. Эта процедура выборки, называемая параметрическим методом кросс-аппроксимации начальной загрузки (PBCM; ср. Williams (JR Statist. Soc. B 32 (1970) 350; Biometrics 26 (1970) 23)), генерирует распределения различий в пригодности соответствия ожидается под каждой из конкурирующих моделей. В версии PBCM, основанной на данных, модели генерации имеют конкретные значения параметров, полученные путем подгонки рассматриваемых экспериментальных данных. Распределение различий между данными и данными можно сравнить с наблюдаемой разницей в соответствии качества, чтобы дать количественную оценку адекватности модели. В данных неинформированной версии PBCM, генерирующие модели имеют относительно широкий диапазон значений параметров, основанных на предшествующих знаниях. Применение как информированных данных, так и данных неинформированных PBCM иллюстрируется несколькими примерами.

   Обновление: Оценка модели мимикрии на простом английском языке. Вы берете одну из двух конкурирующих моделей и случайным образом выбираете набор параметров для этой модели (либо данные, информированные, либо нет). Затем вы производите данные из этой модели с выбранным набором параметров. Затем вы позволяете обеим моделям соответствовать полученным данным и проверяете, какая из двух моделей-кандидатов дает лучшее соответствие. Если обе модели одинаково гибки или сложны, модель, из которой вы произвели данные, должна лучше соответствовать. Однако, если другая модель является более сложной, она могла бы лучше соответствовать, хотя данные были получены из другой модели. Вы повторяете это несколько раз для обеих моделей (т. Е. Пусть обе модели выдают данные и смотрят, какая из двух подходит лучше). Модель, которая «перекрывает» данные, полученные другой моделью, является более сложной.

2. Перекрестная проверка : это также довольно легко реализовать. Смотрите ответы на этот вопрос . Тем не менее, обратите внимание, что проблема заключается в том, что выбор из правила вырезания выборки (оставлять один, K-сгиб и т. Д.) Является беспринципным.

Я думаю, что это будет зависеть от фактической процедуры подгонки модели. Для общепринятой меры вы можете рассмотреть Обобщенные степени свободы, описанные в Ye 1998 - по существу, чувствительность изменения оценок модели к возмущению наблюдений - которая довольно хорошо работает как мера сложности модели.

Минимальная длина описания (MDL) и минимальная длина сообщения (MML), безусловно, стоит проверить.

Что касается MDL, простой документ, который иллюстрирует процедуру нормализованного максимального правдоподобия (NML), а также асимптотическое приближение:

S. de Rooij & P. ​​Grünwald. Эмпирическое исследование выбора модели минимальной длины описания с бесконечной параметрической сложностью. Журнал математической психологии, 2006, 50, 180-192

Здесь они смотрят на сложность модели распределения геометрических и пуассоновских. Отличный (бесплатный) учебник по MDL можно найти здесь .

Кроме того , документ о сложности экспоненциального распределения рассматриваемого как с MML и MDL можно найти здесь . К сожалению, не существует современного учебника по MML, но книга является отличным справочником и настоятельно рекомендуется.

Минимальное описание Длина может быть авеню, которую стоит преследовать.

Под «сложностью модели» обычно подразумевается богатство модельного пространства. Обратите внимание, что это определение не зависит от данных. Для линейных моделей богатство модельного пространства тривиально измеряется с уменьшением пространства. Это то, что некоторые авторы называют «степенями свободы» (хотя исторически, степени свободы были зарезервированы для различия между пространством модели и пространством образца). Для нелинейных моделей количественная оценка богатства пространства менее тривиальна. Обобщенные степени свободы (см. Ответ ars) - такая мера. Он действительно очень общий и может использоваться для любого «странного» модельного пространства, такого как деревья, KNN и тому подобное. Измерение ВК является еще одной мерой.

Как упомянуто выше, это определение «сложности» не зависит от данных. Таким образом, две модели с одинаковым количеством параметров обычно имеют одинаковую «сложность».

От комментариев Ярослава к ответу Хенрика:

но перекрестная проверка, похоже, просто откладывает задачу оценки сложности. Если вы используете данные для выбора своих параметров и модели, как при перекрестной проверке, то возникает вопрос: как оценить объем данных, необходимый для правильной работы мета-установщика?

$k$$k$$k$$CV(k)$$k$$k$

Вы могли бы даже придать этому «значимость», поскольку результат процедуры напрямую выражается в единицах (единицах) разницы в погрешности прогнозирования вне выборки.

Как насчет информационного критерия для сравнения моделей? Смотрите, например, http://en.wikipedia.org/wiki/Akaike_information_criterion

Сложность модели - вот количество параметров модели.