Как объединить прогнозы, когда переменная отклика в моделях прогнозирования была другой?

9

Введение

AяСJJAяСJAяС*знак равноминJAяСJрпJзнак равное(AяС*-AяСJ)/2J

весJзнак равнорпJΣJрпJ

проблема

Трудность, которую я пытаюсь преодолеть, состоит в том, что модели оцениваются по различным образом трансформированным ответным (эндогенным) переменным. Например, некоторые модели основаны на ежегодных темпах роста, другие - на темпах роста от квартала к кварталу. Таким образом, извлеченные значения AяСJ не сопоставимы напрямую.

Пробный раствор

Поскольку все, что имеет значение, - это разница между AяС то можно взять AIC базовой модели AяС(например, я пытался извлечь lm(y~-1)модель без каких-либо параметров), которая является инвариантной к преобразованиям переменной ответа, а затем сравнить различия между J й моделью и Базовая модель AяС . Здесь , однако, кажется , слабые остатки точки - разница будет зависеть от преобразования переменного отклика.

Заключительные замечания

Обратите внимание, что опция «Оценить все модели по одинаковым переменным отклика» возможна, но очень трудоемка. Я хотел бы найти быстрое "лекарство", прежде чем перейти к болезненному решению, если нет другого способа решить проблему.

Дмитрий Челов
источник

Ответы:

1

Я думаю, что одним из самых надежных методов сравнения моделей является перекрестная проверка ошибок вне выборки (например, MAE). Вам нужно будет не преобразовывать экзогенную переменную для каждой модели, чтобы напрямую сравнить яблоки с яблоками.

Zach
источник
Альтернативный способ, который я оставил для еще более трудоемкого подхода, состоит в том, чтобы использовать ошибки с ножом для оценки весов, подобных Бейтсу и Грейнджеру (1969) и связанным с ними работам, таким как комбинации Клемента и Харви- Прогноза и охват (2007). Слабым местом подхода на основе ошибок прогноза является то, что он в среднем уступает подходам на основе информации (модели). Поскольку усреднение по Байесу сложно, я попытался применить более простой метод, который можно было бы представить как BMA с информативными априорными значениями.
Дмитрий Челов
Обратите внимание, что я не хочу сравнивать и выбирать лучшую модель, а также не ищу метод комбинации лучших прогнозов. У меня просто проблемы со сравнением AIC из моделей, основанных на по-разному преобразованных переменных ответа .
Дмитрий Челов
1
@Dmitrij Celov: Тогда почему вы сравниваете AIC? Имейте в виду, что AIC асимптотически эквивалентен кросс-проверке с пропуском одного, поэтому я подозреваю, что сравнение любой метрики будет аналогичным. stats.stackexchange.com/a/587/2817
Зак
@DmitrijCelov: «Слабым местом подхода на основе ошибок прогноза является то, что он в среднем уступает подходам на основе информации (модели)». Уступает в этом отношении? У вас есть цитаты или объяснения для этого? Интуиция говорит мне, что это утверждение неверно, но интуиция часто ошибочна ...
Зак
Я, вероятно, сделал быстрый вывод после замечания в рабочем документе G.Kapitanious и др. Комбинации прогнозов и набора методов статистического прогнозирования Банка Англии, где на с. 23 написано, что «... объединение прогнозов в целом не даст оптимального прогноза, а объединение информации». Асимптотическая эквивалентность - это не то, что я хотел бы иметь в небольших выборках макроэкономических данных, но простые методы могут превзойти более сложные. Просто перекрестная проверка является вторым лучшим решением, ножи-домкраты изготавливаются в течение одной недели, AIC за час. (Мы можем пойти в чат)
Дмитрий Челов