Справедливо ли задавать начальное число в случайной лесной регрессии для получения максимальной точности?

У меня есть случайная регрессия леса, построенная с использованием skl, и я отмечаю, что я получаю разные результаты, основываясь на установке случайного начального числа на разные значения.

Если я использую LOOCV, чтобы определить, какое семя работает лучше всего, это правильный метод?

cross-validation random-forest user2723494
источник

Люди делают это на соревнованиях. Хотя для научных кругов это было бы трудно оправдать.

Firebug

Подумайте об одном экстремальном сценарии: мы играем в игру: мы бросаем две кубики, и те из нас, кто получает большую сумму, выигрывают. Но на самом деле мне разрешено бросать кости дважды. Это справедливо для вас? Позвольте мне отметить, что установка случайных семян является неотъемлемой частью воспроизводимых исследований и всегда должна проводиться. Это не значит, что мы должны пробовать много разных семян, пока не найдем «благоприятное семя».

usεr11852

@ usεr11852 что вы думаете о моем комментарии к принятому в настоящее время ответу? Я не уверен, если это отличается от случайных перезапусков, как с Kmeans. Никто не думает, что мы должны быть вынуждены принять первый запуск, который мы делаем, до такой степени, что случайные перезапуски встроены в стандартную функцию в R. Если, возможно, вы не считаете, что модель запускает kmeans 100 раз, а не модель просто лучшая кластеризация

JDD

Нет, похоже, само определение переосмысления фактической случайности.

Марк Уайт

@Chaconne: я полностью поддерживаю вашу точку зрения о необходимости надлежащей проверки. Тем не менее, я думаю, что есть два основных различия в двух случаях использования: в случае k-средних (или стохастической оптимизации в целом) мы ищем «оптимальный набор» параметров, в то время как для CV мы заботимся о «репрезентативном наборе». ». В первом случае мы стремимся показать «насколько мы можем быть хорошими», а в более позднем случае «насколько мы будем хорошими».

usεr11852

Ответы:

Ответ - нет .

Ваша модель дает разные результаты для каждого используемого вами семени. Это является результатом недетерминированной природы модели. Выбор конкретного начального числа, обеспечивающего максимальную производительность набора проверки, означает, что вы выбрали «расположение», которое наилучшим образом соответствует этому набору. Однако это не гарантирует, что модель с этим начальным числом будет работать лучше в отдельном наборе испытаний . Это просто означает, что вы переписали модель в наборе проверки .

Этот эффект является причиной, по которой вы видите, что многие люди, которые занимают высокие места в соревнованиях (например, kaggle) в общедоступном тестовом наборе, терпят неудачу в скрытом тестовом наборе. Этот подход ни в коем случае не считается правильным подходом.

Djib2011
источник

Да, именно поэтому кросс-валидация является такой сильной техникой, а также почему люди используют как валидацию, так и набор тестов (один - для выбора модели, а другой - для объективной оценки).

Djib2011

Я не убежден. С невыпуклой оптимизацией это обычно делать случайные перезапуски, потому что разные начальные значения могут привести к очень разным оценкам параметров модели, и просто по неудаче вы можете получить плохую сходимость. Например, с Kmeans это хорошо известно. Случайный лес просто случайно может привести к тому, что ваша модель сделает слишком много шпагатов. Я не думаю, что стоит признать, что разные прогоны приводят к разным оценкам параметров модели, и некоторые могут на самом деле обобщать лучше, чем другие. Конечно, все это зависит от правильной оценки производительности образца.

1918 года

@ user2723494 Он действителен для гиперпараметров в надежде на повышение производительности без затрат на обобщение. Однако точная настройка параметров снова и снова в наборе проверки даст тот же эффект, который я описал (перенастройка в наборе проверки). Поскольку случайный посев по своей природе является стохастическим, гораздо более вероятно, что он улучшит производительность из-за переоснащения, чем из-за того, что он фактически создал лучшую модель.

Djib2011

@ Chaconne Я не говорил, что это невозможно. Однако с помощью этой процедуры гораздо более вероятно выбрать семя, которое соответствует, чем то, которое фактически производит лучшую модель ...

Djib2011

Если честно, я никогда не считал, что посев алгоритмов ML (и лишение их стохастического характера) является хорошей практикой. ОП создал новый вопрос, задавая именно это. Мне было бы интересно прочитать ваш ответ!

Djib2011