AIC против перекрестной проверки во временных рядах: небольшой пример

23

Я заинтересован в выборе модели в настройке временных рядов. Для конкретности предположим, что я хочу выбрать модель ARMA из пула моделей ARMA с различными порядками запаздывания. Конечная цель - прогнозирование .

Выбор модели может быть сделан

  1. перекрестная проверка,
  2. использование информационных критериев (AIC, BIC),

среди других методов.

Роб Дж. Хиндман предоставляет способ перекрестной проверки временных рядов . Для сравнительно небольших выборок размер выборки, используемый при перекрестной проверке, может качественно отличаться от исходного размера выборки. Например, если исходный размер выборки составляет 200 наблюдений, можно подумать о начале перекрестной проверки, взяв первые 101 наблюдение и расширив окно до 102, 103, ..., 200 наблюдений, чтобы получить 100 результатов перекрестной проверки. Ясно, что модель, которая достаточно экономна для 200 наблюдений, может быть слишком большой для 100 наблюдений, и, следовательно, ее ошибка валидации будет большой. Таким образом, перекрестная проверка, вероятно, будет систематически отдавать предпочтение слишком экономным моделям. Это нежелательный эффект из-за несоответствия размеров выборки .

Альтернативой перекрестной проверке является использование информационных критериев для выбора модели. Поскольку я забочусь о прогнозировании, я бы использовал AIC. Даже при том, что AIC асимптотически эквивалентен минимизации одноэтапного прогноза MSE для моделей временных рядов (согласно этому посту Робом Дж. Хиндманом), я сомневаюсь, что это уместно здесь, так как выборка размеры, о которых я забочусь, не такие большие ...

Вопрос: я должен выбрать AIC по перекрестной проверке временных рядов для малых / средних выборок?

Несколько связанных вопросов можно найти здесь , здесь и здесь .

Ричард Харди
источник
1
Я также предположил бы, что BIC также эквивалентен «более длинному» прогнозу (на шаг впереди м), учитывая его связь с перекрестной проверкой k. Хотя для 200 наблюдений, вероятно, не имеет большого значения (штраф 5p вместо 2p).
вероятностная
1
@CagdasOzgenc, я спросил Роба Дж. Хиндмана относительно того, может ли перекрестная проверка систематически отдавать предпочтение слишком экономным моделям в контексте, указанном в ОП, и получил подтверждение, так что это весьма обнадеживает. Я имею в виду, идея, которую я пытался объяснить в чате, кажется верной.
Ричард Харди
Есть теоретические причины для предпочтения AIC или BIC, поскольку, если начинать с теории правдоподобия и информации, то основанная на них метрика обладает хорошо известными статистическими свойствами. Но часто случается так, что кто-то имеет дело с набором данных, который не так велик.
аналитик
3
Я потратил немало времени, пытаясь понять AIC. Равенство утверждения основано на многочисленных приближениях, которые составляют версии CLT. Я лично думаю, что это делает AIC очень сомнительным для небольших образцов.
Мех
1
@IsabellaGhement, зачем это? Нет никаких оснований ограничивать себя этим конкретным использованием перекрестной проверки. Это не означает, что перекрестная проверка не может использоваться для оценки модели, конечно.
Ричард Харди

Ответы:

2

Если отбросить теоретические соображения, информационный критерий Акаике - это всего лишь вероятность, оштрафованная степенями свободы. Далее AIC учитывает неопределенность в данных ( -2LL ) и делает предположение, что большее количество параметров приводит к более высокому риску переоснащения ( 2k ). Перекрестная проверка просто смотрит на производительность тестового набора модели, без дополнительных предположений.

Если вас больше всего интересует создание прогнозов, и вы можете предположить, что наборы тестов будут разумно похожи на реальные данные, вам следует перейти к перекрестной проверке. Возможная проблема заключается в том, что когда ваши данные маленькие, то, разделяя их, вы получаете небольшие обучающие и тестовые наборы. Меньше данных для обучения - это плохо, а меньше данных для набора тестов делает результаты перекрестной проверки более неопределенными (см. Varoquaux, 2018 ). Если вашего тестового образца недостаточно, вы можете быть вынуждены использовать AIC, но помните, что он измеряет и какие предположения он делает.

С другой стороны, как уже упоминалось в комментариях, AIC дает вам бессимптомные гарантии, и это не относится к небольшим выборкам. Небольшие выборки также могут вводить в заблуждение относительно неопределенности данных.

Тим
источник
Спасибо за ответ! Не могли бы вы дать какой-либо конкретный комментарий относительно нежелательного эффекта гораздо меньшего размера выборки при перекрестной проверке из-за характера данных временных рядов?
Ричард Харди
1

Хм - если ваша конечная цель состоит в том, чтобы предсказать, почему вы собираетесь делать выбор модели вообще? Насколько я знаю, как в «традиционной» статистической литературе, так и в литературе по машинному обучению хорошо известно, что усреднение моделей лучше, когда речь идет о прогнозировании. Проще говоря, усреднение модели означает, что вы оцениваете все правдоподобные модели, позволяете им всем прогнозировать и усреднять свои прогнозы, взвешенные на основании их относительной модели.

Полезная ссылка для начала - https://journals.sagepub.com/doi/10.1177/0049124104268644

Они объясняют это довольно просто и ссылаются на соответствующую литературу.

Надеюсь это поможет.

StoryTeller0815
источник
-1

Моя идея, сделать оба и посмотреть. Это прямое использование AIC. Чем меньше АПК, тем лучше модель. Но нельзя полагаться на AIC и говорить, что такая модель лучшая. Итак, если у вас есть пул моделей ARIMA, возьмите каждую и проверьте прогнозирование для существующих значений и посмотрите, какая модель прогнозирует наиболее близкие к существующим данным временного ряда. Во-вторых, проверьте AIC и, учитывая оба варианта, придете к хорошему выбору. Здесь нет жестких и быстрых правил. Просто перейдите на модель, которая предсказывает лучшее.

Довини Джаясингхе
источник
Спасибо за ваш ответ! Я ищу принципиальный способ выбора между различными методами выбора модели. Хотя вы правы в том, что нет жестких и быстрых правил , нам нужны четкие руководящие принципы в гипотетических идеальных условиях, чтобы помочь нам в беспорядочных ситуациях в реальном мире. Поэтому, хотя я в целом согласен с вашей точкой зрения, я не считаю ваш ответ особенно полезным.
Ричард Харди