Какие алгоритмы машинного обучения (кроме SVM) используют принцип минимизации структурных рисков ?
reference-request
machine-learning
Classifire
источник
источник
Ответы:
Принцип минимизации структурного риска - это принцип, который, по крайней мере, частично «используется» во всех методах машинного обучения, поскольку часто следует принимать во внимание переоснащение: уменьшение сложности модели является (предположительно и на практике) хорошим способом ограничения переобучения.
У SVM явно есть параметр для сложности (размерность пространственного объекта или даже функция ядра), и это необходимо, потому что увеличение сложности является частью алгоритма обучения.
Нейронные сети также имеют простой индикатор их сложности (количество «ячеек») и являются частью соответствующего алгоритма обучения.
Без этого принципа вывод грамматики был бы и глупым, и совершенная грамматика - это список всех возможных слов, поэтому каждый нетривиальный алгоритм хотя бы признает этот принцип.
Деревья решений имеют свое собственное понятие энтропии .
Кластеры могут быть просто подсчитаны или как бы «использовать» принцип по своей сути или иметь фиксированное количество кластеров, и в этом случае вы применяете принцип на более высоком уровне.
Честно говоря, я действительно не знаю, что происходит в генетическом программировании, но у них нет внутреннего понятия сложности.
Я плохо знаю программирование индуктивной логики, но, похоже, оно не очень хорошо подходит для этого принципа.
источник