О «силе» слабых учеников

У меня есть несколько тесно связанных вопросов относительно слабых учеников в обучении ансамблю (например, повышение).

1. Это может показаться глупым, но каковы преимущества использования слабых по сравнению с сильными учениками? (например, почему бы не повысить с "сильными" методами обучения?)
2. Есть ли какая-то «оптимальная» сила для слабых учеников (например, при сохранении всех остальных параметров ансамбля)? Есть ли «сладкое пятно», когда дело доходит до их силы?
3. Как мы можем измерить силу слабого ученика относительно силы полученного метода ансамбля. Как мы можем количественно измерить предельные выгоды от использования ансамбля?
4. Как мы сравниваем несколько слабых алгоритмов обучения, чтобы решить, какой из них использовать для данного метода ансамбля?
5. Если данный метод ансамбля помогает слабым классификаторам больше, чем сильным, как мы можем сказать, что данный классификатор уже «слишком силен», чтобы приносить какие-либо существенные выгоды при его повышении?

Это может быть больше в духе упаковки, но тем не менее:

• Если у вас действительно сильный ученик, нет необходимости улучшать его с помощью ансамбля.
• Я бы сказал ... не имеет значения. При смешивании и суммировании тривиально, при создании слишком сильного классификатора это может привести к некоторым нарушениям конвергенции (т. Е. Удачное предсказание может сделать следующую итерацию, чтобы предсказать чистый шум и, следовательно, снизить производительность), но это обычно исправляется в последующих итерациях.

• Опять же, это не настоящая проблема. Самым ядром этих методов является

  1. заставить частичные классификаторы взглянуть глубже на проблему.
  2. объедините их предсказания, чтобы ослабить шум и усилить сигнал.

  1) нуждается в некотором внимании при повышении (т.е. хорошая схема повышения, хорошо ведущий себя частичный учащийся - но об этом в основном нужно судить по экспериментам над всем повышением), 2) в пакетировании и смешивании (в основном, как обеспечить отсутствие корреляции между учащимися). и не переусердствуйте в ансамбле). Пока все в порядке, точность частичного классификатора является проблемой третьего порядка.

Во-первых, понятия «слабый» и «сильный» определены слабо. С моей точки зрения, они должны быть определены относительно оптимального байесовского классификатора, который является целью любого алгоритма обучения. Имея это в виду, я отвечаю на три пункта следующим образом.

1. Вычислительный, как я это вижу. Большинство слабых учеников, которых я знаю, быстры в вычислительном отношении (и в остальном не заслуживают рассмотрения) Важным моментом в ансамблевом обучении является именно то, что мы можем комбинировать простых и быстрых, но не очень хороших учеников и повышать уровень ошибок. Если мы используем более сильных (и более требовательных в вычислительном отношении) учеников, пространство для улучшений становится меньше, но вычислительные затраты становятся больше, что делает использование ансамблевых методов менее интересным. Более того, одного сильного ученика легче интерпретировать. Однако то, что является слабым, а что сильным, зависит от проблемы и оптимальной скорости Байеса, которую мы пытаемся достичь. Следовательно, если учащийся, которого часто считают сильным, все еще оставляет место для улучшений при его повышении, и повышение в вычислительном отношении возможно, тогда действительно повышайте ...
2. Это будет зависеть от критериев, которые вы используете для измерения «оптимальности». Что касается уровня ошибок, я бы сказал, нет (я приветствую любые исправления, если другие имеют другой опыт). С точки зрения скорости, возможно, но я бы предположил, что это сильно зависит от проблемы. Извините, я не знаю литературы по этому вопросу.
3. ?
4. Перекрестная проверка, перекрестная проверка, перекрестная проверка. Как и при любом другом сравнении методов обучения с целью составления прогнозов, нам нужны объективные оценки погрешности обобщения для сравнения, которые могут быть достигнуты путем выделения набора тестовых данных или аппроксимации этого путем перекрестной проверки.