Не приводит ли это к переоснащению? Могут ли мои результаты быть более надежными, если я добавлю процедуру «домкрат» или процедуру начальной загрузки как часть анализа?
9
Не приводит ли это к переоснащению? Могут ли мои результаты быть более надежными, если я добавлю процедуру «домкрат» или процедуру начальной загрузки как часть анализа?
Ответы:
Я думаю, что создание модели и тестирование это разные вещи. Обратное исключение является частью построения модели. Джек нож и бутстрап больше используются для его проверки.
Вы можете, конечно, иметь более надежные оценки с начальной загрузкой и ножом, чем простое обратное исключение. Но если вы действительно хотите проверить переоснащение, окончательный тест - это сплит-выборка, тренируйтесь на одних, тестируйте на других. Отпуск один слишком нестабилен / ненадежен для этой цели: http://www.russpoldrack.org/2012/12/the-perils-of-leave-one-out.html
Я думаю, что, по крайней мере, 10% участников должны выйти, чтобы получить более стабильные оценки надежности модели. И если у вас есть 20 предметов, 2 предмета все еще очень мало. Но тогда возникает вопрос, есть ли у вас достаточно большая выборка, чтобы построить модель, которая может быть применена к остальной части населения.
Надеюсь, что он ответил на ваш вопрос хотя бы частично.
источник