Я видел другую ветку здесь, но я не думаю, что ответ удовлетворил фактический вопрос. Я постоянно читал, что Наивный Байес - это линейный классификатор (например, здесь ) (такой, что он рисует линейную границу решения), использующий демонстрацию логических шансов.
Однако я смоделировал два гауссовых облака и установил границу решения и получил результаты как таковые (библиотека e1071 в r, используя naiveBayes ())
Как видим, граница решения нелинейная. Пытается ли сказать, что параметры (условные вероятности) представляют собой линейную комбинацию в лог-пространстве, а не сказать, что сам классификатор разделяет данные линейно?
classification
naive-bayes
Кевин Пей
источник
источник
Ответы:
Вы можете написать любой наивный байесовский классификатор как *
и поэтому
где
* Вот как вывести этот результат:
источник
Она линейна, только если матрицы условной дисперсии класса одинаковы для обоих классов. Чтобы увидеть это, запишите соотношение постеров журнала, и вы получите только линейную функцию, если соответствующие отклонения одинаковы. В противном случае это квадратично.
источник
Я хотел бы добавить еще одно замечание: причина некоторой путаницы заключается в том, что значит выполнять «наивную байесовскую классификацию».
В широкой теме «Гауссовский дискриминантный анализ (GDA)» есть несколько методов: QDA, LDA, GNB и DLDA (квадратичный DA, линейный DA, гауссовский наивный байес, диагональный LDA). [ОБНОВЛЕНО] LDA и DLDA должны быть линейными в пространстве заданных предикторов. (См., Например, Мерфи , 4.2, стр. 101 для DA и стр. 82 для NB. Примечание: GNB не обязательно является линейным. Дискретный NB (который использует многочленное распределение под капотом) является линейным. Вы также можете проверить Duda , Hart & Stork раздел 2.6). QDA является квадратичным, как указывали другие ответы (и я думаю, что происходит на вашем графике - см. Ниже).
В то время как документы для e1071 утверждают, что они предполагают независимость от класса (то есть GNB), я подозреваю, что это фактически делает QDA. Некоторые люди путают «наивный байесовский» (делая предположения о независимости) с «простым правилом байесовской классификации». Все методы GDA получены из более поздних; но только GNB и DLDA используют первое.
Большое предупреждение, я не прочитал исходный код e1071, чтобы подтвердить, что он делает.
источник