Тест: Скажите классификатору по границе его решения

17

Ниже приведены 6 границ принятия решений. Границы решения - фиолетовые линии. Точки и крестики - это два разных набора данных. Мы должны решить, какой из них:

  • Линейный СВМ
  • Ядро SVM (Полиномиальное ядро ​​порядка 2)
  • Perceptron
  • Логистическая регрессия
  • Нейронная сеть (1 скрытый слой с 10 выпрямленными линейными единицами)
  • Нейронная сеть (1 скрытый слой с 10 юнитами)

Я хотел бы иметь решения. Но что еще более важно, понять различия. Например, я бы сказал, с) является линейным SVM. Граница решения является линейной. Но также мы можем гомогенизировать координаты линейной границы решения SVM. г) Kernelized SVM, так как это полиномиальный порядок 2. е) выпрямленная нейронная сеть из-за «неровных» краев. Может быть, а) логистическая регрессия: это также линейный классификатор, но основанный на вероятностях.

Границы решения

Мяу Пиау
источник
1
Пожалуйста, добавьте [self-study]тег и прочитайте его вики . Мы дадим подсказки, которые помогут вам разобраться.
gung - Восстановить Монику
Но это не упражнение, которое я должен представить. Я прочитал пост для самостоятельной работы, но думаю, что мой пост в порядке? Я включил свою собственную мысль, и я тоже думал об этом. Я думаю, может быть, этот пример также интересен для других.
Мяу
1
Спасибо за добавление тега. Это не должно быть упражнением для применения нашей политики. Это хороший вопрос; Я проголосовал за это и не голосовал, чтобы закрыть.
gung - Восстановить Монику
1
Это может помочь объяснить, что показывают графики. Я думаю, что точки - это два набора данных, которые используются для обучения, а линия - это граница между областями, где новая точка будет разделена на одну или другую группу. Это правильно?
Энди Клифтон
1
Это, вероятно, лучший вопрос, который я видел на любой плате Stackoverflow / Stackexchange за последние 5 лет. Удивительно, но на Stackoverflow были бы жокеи кода Javascript, которые закрывали бы этот вопрос за то, что он «слишком широк».
stackoverflowuser2010

Ответы:

9

Очень нравится этот вопрос!

Первое, что приходит на ум, - это разделение между линейными и нелинейными классификаторами. Три классификатора являются линейными (линейная SVM, персептрон и логистическая регрессия), а три графика показывают линейную границу решения ( A , B , C ). Итак, давайте начнем с тех.

линейный

Самый неприятный линейный участок - это участок B, потому что он имеет линию с уклоном. Это странно для логистической регрессии и SVM, потому что они могут улучшить свои функции потерь больше, будучи плоской линией (то есть находясь дальше от (всех) точек). Таким образом, сюжет B является персептроном. Поскольку выход перцептрона равен 0 или 1, все решения, которые отделяют один класс от другого, одинаково хороши. Вот почему это не улучшается дальше.

Разница между сюжетом _A) и C более тонкая. Границу решение немного ниже в участке А . SVM как фиксированное число векторов поддержки, в то время как функция потерь логистической регрессии определяется всеми точками. Поскольку красных крестиков больше, чем синих точек, логистическая регрессия избегает красных крестов больше, чем синих точек. Линейный SVM просто пытается быть так далеко от красных опорных векторов, как от синих опорных векторов. Вот почему график A является границей решения логистической регрессии, а график C составлен с использованием линейного SVM.

Нелинейная

Давайте продолжим с нелинейными графиками и классификаторами. Я согласен с вашим наблюдением, что график F , вероятно, является ReLu NN, поскольку он имеет самые четкие границы. Единица ReLu, потому что активируется сразу, если активация превышает 0, и это заставляет выходной блок следовать другой линейной линии. Если вы выглядите действительно, очень хорошо, вы можете заметить около 8 изменений направления в линии, так что, вероятно, 2 единицы мало повлияют на конечный результат. Так что сюжет F - это ReLu NN.

Насчет последних двух я не очень уверен. Как NN Tanh, так и SVM с ядром в виде полинома могут иметь несколько границ. Участок D явно классифицирован хуже. Tanh NN может улучшить эту ситуацию, изгибая кривые по-другому и помещая больше синих или красных точек во внешнюю область. Тем не менее, этот сюжет немного странный. Я предполагаю, что левая верхняя часть классифицируется как красная, а правая нижняя часть - синяя. Но как классифицируется средняя часть? Он должен быть красным или синим, но тогда одна из границ решения не должна быть нарисована. Таким образом, единственно возможный вариант заключается в том, что внешние части классифицируются как один цвет, а внутренняя часть - как другой цвет. Это странно и очень плохо. Так что я не уверен в этом.

Давайте посмотрим на сюжет Е . Он имеет как изогнутые, так и прямые линии. Для SVM степени 2 с ядрами трудно (почти невозможно) иметь прямую границу решения, поскольку квадрат расстояния постепенно благоприятствует 1 из 2 классов. Наведение функций активации tanh может быть насыщенным, так что скрытое состояние состоит из нулей и единиц. В этом случае только 1 единица затем меняет свое состояние, чтобы сказать .5 вы можете получить границу линейного решения. Поэтому я бы сказал, что заговор E - это tanh NN, и, следовательно, заговор D - это SVM с ядром. К плохому для старого SVM.

Выводы

A - Логистическая регрессия
B - Перцептрон
C - Линейный SVM
D - Ядро SVM (Полиномиальное ядро ​​порядка 2)
E - Нейронная сеть (1 скрытый слой с 10 единицами измерения)
F - Нейронная сеть (1 скрытый слой с 10 выпрямленными линейными единицами)

Pieter
источник
Спасибо за очень хороший ответ. Мне тоже нравится вопрос. Это дает новый взгляд на классификаторы. SVM имеет максимальный запас, и поэтому имеет смысл, что линия находится в середине данных. Но почему это также верно для логистической регрессии?
Мяу
Вы имеете в виду, почему это прямо? Или почему это посередине?
Питер
Вы говорите: «Они могут улучшить свои функции потерь, будучи плоской линией» - почему это для логистической регрессии?
Мяу
1
В теории это лучшее решение, потому что наклонная линия уменьшит правильную вероятность более близкого класса быстрее, чем увеличит вероятность более отдаленного класса.
Питер