Как вы знаете, существует два популярных типа перекрестной проверки: K-кратная и случайная субсэмплинг (как описано в Википедии ). Тем не менее, я знаю, что некоторые исследователи делают и публикуют статьи, где нечто, описываемое как K-кратное резюме, действительно является случайным субсэмплингом, поэтому на практике вы никогда не узнаете, что на самом деле содержится в статье, которую вы читаете.
Обычно, конечно, разница незаметна, и поэтому у меня возникает вопрос - можете ли вы привести пример, когда результат одного типа значительно отличается от другого?
9
Я совсем не уверен, что разница незаметна, и что только в специальном примере она будет заметна. Методы перекрестной проверки и начальной загрузки (подвыборки) критически зависят от их параметров проектирования, и это понимание еще не завершено. В общем, результаты в перекрестной проверке в k-кратном порядке критически зависят от количества сгибов, поэтому вы всегда можете ожидать результатов, отличных от того, что вы наблюдаете при субвыборке.
Пример: скажем, что у вас есть истинная линейная модель с фиксированным количеством параметров. Если вы используете перекрестную проверку в k-кратном порядке (с заданным фиксированным значением k) и позволяете количеству наблюдений переходить в бесконечность, перекрестная проверка в k-кратном порядке будет асимптотически несовместимой для выбора модели, т. Е. Она будет определять неверную модель с вероятность больше 0. Этот удивительный результат обусловлен Jun Shao, «Выбор линейной модели путем перекрестной проверки», журнал Американской статистической ассоциации , 88 , 486-494 (1993), но в этом ключе можно найти больше работ.
В целом, респектабельные статистические документы определяют протокол перекрестной проверки именно потому, что результаты не являются инвариантными. В случае, когда они выбирают большое количество сгибов для больших наборов данных, они отмечают и пытаются исправить смещения в выборе модели.
источник