Сколько раз мы должны повторять K-кратное резюме?

18

Я наткнулся на эту тему, глядя на различия между начальной загрузкой и перекрестной проверкой - кстати, отличный ответ и ссылки. Что меня сейчас интересует, так это то, что если я должен был выполнить повторное 10-кратное CV, скажем, чтобы вычислить точность классификатора, сколько раз n я должен повторить это?

Имеет ли п зависит от количества складок? На размер выборки? Есть ли какое-то правило для этого?

(В моем случае у меня есть выборки размером до 5000, и если я выберу что-то большее, чем n = 20, мой компьютер займет слишком много времени для выполнения расчета.)

Neodyme
источник

Ответы:

10

Влияющим фактором является то, насколько стабильна ваша модель - или, точнее, предсказания суррогатов.

Если модели полностью стабильны, все суррогатные модели будут давать одно и то же предсказание для одного и того же контрольного примера. В этом случае итерации / повторения не нужны, и они не дают никаких улучшений.

Как вы можете измерить стабильность прогнозов, вот что я сделаю:

  • Настройте всю процедуру таким образом, чтобы сохранить результаты каждого повторения / итерации перекрестной проверки, например, на жесткий диск
  • Начните с большого количества итераций
  • После нескольких итераций извлеките предварительные результаты и посмотрите на стабильность / вариацию результатов для каждого прогона.
  • Затем решите, сколько дальнейших итераций вы хотите уточнить результаты.

  • Конечно, вы можете решить, скажем, выполнить 5 итераций, а затем принять решение о конечном числе итераций, которые вы хотите выполнить.

(Примечание: я обычно использую> около 1000 суррогатных моделей, поэтому типичное количество повторений / итераций не будет около 100 - 125).

cbeleites поддерживает Монику
источник
13

Задайте статистику любой вопрос, и его ответом будет некая форма «это зависит».

Это зависит . Помимо типа модели (хорошие точки cbeleites!), Количество обучающих заданных точек и количество предикторов? Если модель предназначена для классификации, большой дисбаланс классов может привести к увеличению числа повторений. Кроме того, если я пересэмплирую процедуру выбора функции, я буду склоняться к большему количеству повторных выборок.

Для любого метода повторной выборки, используемого в этом контексте, помните, что (в отличие от классической начальной загрузки) вам нужно только достаточно итераций, чтобы получить «достаточно точную» оценку среднего распределения. Это субъективно, но любой ответ будет.

Придерживаясь классификации с двумя классами на секунду, предположим, что вы ожидаете / надеетесь, что точность модели будет около 0,80. Поскольку процесс передискретизации является выборка оценки точности (скажем p), стандартная ошибка будет , sqrt[p*(1-p)]/sqrt(B)где Bэто количество передискретизирует. Ведь B = 10стандартная ошибка точности составляет около 0,13, а с B = 100ней - около 0,04. Вы можете использовать эту формулу в качестве приблизительного руководства для этого конкретного случая.

Также учтите, что в этом примере дисперсия точности максимизируется по мере приближения к 0,50, поэтому точная модель должна требовать меньшего количества повторений, поскольку стандартная ошибка должна быть ниже, чем у моделей с низким уровнем обучаемости.

НТН,

Максимум

topepo
источник
2
Я был бы здесь крайне осторожен, чтобы применить любой вид стандартного вычисления ошибок в этом контексте, потому что здесь есть 2 источника дисперсии (нестабильность модели + конечный набор тестовых случаев), и я думаю, что проверка с помощью повторной выборки не обойдет конечный тест установить дисперсию: рассмотрим перекрестную проверку. В каждом прогоне все тестовые случаи тестируются ровно один раз. Таким образом, разница между прогонами повторного CV должна быть из-за нестабильности. Вы не будете наблюдать (и не уменьшать!) Дисперсию из-за конечного набора тестов таким образом, но, конечно, результат все еще зависит от него.
cbeleites поддерживает Монику