Следует ли использовать повторную перекрестную проверку для оценки прогностических моделей?

Я наткнулся на эту статью 2012 года, написанную Гитте Ванвинкеленом и Хендриком Блокелом, в которой ставится под сомнение полезность повторной перекрестной проверки, которая стала популярным методом уменьшения дисперсии перекрестной проверки.

Авторы продемонстрировали, что, хотя повторная перекрестная проверка действительно уменьшает дисперсию предсказаний модели, поскольку для того же набора данных выборки проводится повторная выборка, среднее значение оценок повторной выборки перекрестной проверки сходится к смещенной оценке истинной точности прогноза и, следовательно, бесполезно.

Следует ли использовать повторную перекрестную проверку, несмотря на эти ограничения?

Аргумент, который, кажется, приводит газета, кажется мне странным.

Согласно этому документу, целью CV является оценка , ожидаемой предсказательной производительности модели на новых данных, учитывая , что модель была обучена на наблюдаемом наборе данных S . Когда мы проводим K кратной CV, мы получаем оценку А из этого числа. Из-за случайного разбиения S в K складок, это случайная величина , ~ е ( ) со средним μ к и дисперсия$\alpha_2$$S$$k$$\hat A$$S$$k$$\hat A \sim f(A)$$\mu_k$ . Напротив, n- кратное повторение CV дает оценку с тем же средним$\sigma^2_k$$n$ но меньшая дисперсия σ 2 k / n .$\mu_k$$\sigma^2_k/n$

Очевидно, . Этот уклон - это то, что мы должны принять.$\alpha_2\ne \mu_k$

Тем не менее, ожидаемая ошибка будет больше при меньших п , и будет наибольшим для п = 1 , по крайней мере , при разумных предположениях о F ( A ) , например , когда ˙ ~ N ( μ к , σ 2 к / н ) . Другими словами, повторное CV позволяет получить более точную оценку µ $\mathbb E\big[|\alpha_2-\hat A|^2\big]$$n$$n=1$$f(A)$$\hat A\mathrel{\dot\sim} \mathcal N(\mu_k,\sigma^2_k/n)$$\mu_k$и это хорошо, потому что дает более точную оценку .$\alpha_2$

Следовательно, повторное резюме является строго более точным, чем повторное резюме.

Авторы не спорят с этим! Вместо этого они утверждают, на основе моделирования, что

уменьшение дисперсии [путем повторения CV] во многих случаях не очень полезно и, по сути, является пустой тратой вычислительных ресурсов.

Это просто означает, что в их моделировании было довольно низким; и , действительно, самый низкий размер выборки они использовали 200 , который, вероятно , является достаточно большим , чтобы получить небольшие σ 2 K . (Разница в оценках, полученных с неповторяющимся CV и 30-кратным повторением CV, всегда мала.) При меньших размерах выборки можно ожидать большей дисперсии между повторениями.$\sigma^2_k$$200$$\sigma^2_k$

ПРЕДУПРЕЖДЕНИЕ: доверительные интервалы!

Другой момент, который авторы делают, заключается в том, что

сообщение о доверительных интервалах [при повторной перекрестной проверке] вводит в заблуждение.

$\mu_k$$\alpha_2$

$k$

adult$\mu_k$

БОЛЬШЕ ОБЩЕЙ ПРОБЛЕМЫ: дисперсия CV.

Вы написали, что повторили резюме

стала популярной техникой для уменьшения дисперсии перекрестной проверки.

$\mu_k$$k=N$$k$

$\alpha_1$$S$