Самое простое, что можно сделать, - это согласовать гауссовский процесс с неаридной эквивалентной ковариационной функцией (обычно RBF) и сравнить частоты ошибок тестирования. Для многих задач ковариационная функция ARD работает хуже, чем ковариационная функция не-ARD из-за чрезмерной подгонки при настройке гиперпараметров. Поскольку ковариация RBF является особым случаем ковариации ARD, если RBF работает лучше, это является сильным показателем того, что ядро ARD переизбирается (начинайте оптимизацию коэффициентов ARD при оптимальных значениях для соответствующей ковариации RBF, это быстрее, а также помогает гарантировать, что проблема с ковариацией ARD не только из-за локальных минимумов в предельной вероятности). Это гораздо более серьезная проблема, чем принято считать.
Я написал пару статей по этому вопросу:
GC Cawley и NLC Talbot, Предотвращение перенастройки во время выбора модели с помощью байесовской регуляризации гиперпараметров, Journal of Machine Learning Research, том 8, страницы 841-861, апрель 2007 г. ( pdf )
и
GC Cawley и NLC Talbot, Чрезмерная подгонка при выборе модели и последующая систематическая ошибка выбора при оценке производительности, Journal of Machine Learning Research, 2010. Research, vol. 11, с. 2079-2107, июль 2010 г. ( pdf )
Первый включает в себя некоторые эксперименты с врачами общей практики, которые показывают, что перебор в выборе модели также является проблемой для врачей общей практики с выбором модели на основе максимизации предельного правдоподобия.
Более тщательным анализом будет оценка ошибки теста ВОП на каждом этапе процесса оптимизации предельной вероятности. Весьма вероятно, что вы получите классическую отметку переприбора, при которой критерий выбора модели монотонно уменьшается, но ошибка теста первоначально уменьшается, но затем начинает расти снова, поскольку критерий выбора модели чрезмерно оптимизирован (см. Рисунок 2а в документе JMLR 2010 года).
