Есть ли домен, в котором байесовские сети превосходят нейронные сети?

48

Нейронные сети получают лучшие результаты в задачах Computer Vision (см. MNIST , ILSVRC , Kaggle Galaxy Challenge ). Кажется, они превосходят любой другой подход в Computer Vision. Но есть и другие задачи:

Я не слишком уверен в ASR (автоматическом распознавании речи) и машинном переводе, но я думаю, что я также слышал, что (повторяющиеся) нейронные сети (начинают) превосходить другие подходы.

В настоящее время я изучаю байесовские сети, и мне интересно, в каких случаях эти модели обычно применяются. Итак, мой вопрос:

Есть ли какая-то проблема / (Kaggle) конкуренция, где современным уровнем техники являются байесовские сети или, по крайней мере, очень похожие модели?

(Примечание: я также видел деревья решений , 2 , 3 , 4 , 5 , 6 , 7 выиграли в нескольких недавних испытаниях Kaggle)

Мартин Тома
источник
Это не вопрос домена. Вопрос в том, сколько у вас данных, насколько хороши ваши приоры и хотите ли вы постеров.
Эмре
1
@Emre Вопрос о домене ... (и, конечно же, о деньгах, когда у вас есть возможность не только использовать существующие наборы данных, но и нанять людей для создания / маркировки новых данных).
Мартин Тома
Было бы вопросом области, если бы было какое-то свойство данных, какая-то структура, чтобы один алгоритм использовал преимущество лучше, чем другой, но это не то, что я предлагаю.
Эмре
2
Так что ответ на ваш вопрос - нет . Правильно? Потому что все ответы указывают на преимущества байесовских сетей по сравнению с другими прогнозными моделями, но я не видел никакой конкуренции Kaggle, где они фактически превосходят другие модели. Кто-нибудь может предоставить один? Потому что все причины и возможные преимущества, например, отсутствие достаточных данных и выбор хороших априорных значений, приведенных в ответах, кажутся большими в теории, но все же не дают ответа на вопрос, приводя, по крайней мере, один пример.
MNLR
Одна вещь, которую байесовские сети могут быть полезны для обучения / задач без присмотра, где объем данных относительно ограничен. Нейронные сети превосходят других только тогда, когда имеется огромный объем данных для обучения.
xji

Ответы:

31

Одна из областей, где часто используются байесовские подходы, - это необходимость интерпретации системы прогнозирования. Вы не хотите давать врачам нейронную сеть и говорить, что она на 95% точна. Вы скорее хотите объяснить предположения, которые делает ваш метод, а также процесс принятия решений, который использует метод.

Подобная область - когда у вас есть сильные предварительные знания предметной области и вы хотите использовать их в системе.

MLgeek
источник
1
Смотрите также: Мифы интерпретируемости модели
Мартин Тома
Смотрите также: Лайм
Мартин Тома,
18

Байесовские сети и нейронные сети не исключают друг друга. Фактически, байесовские сети - это просто еще один термин для «ориентированной графической модели». Они могут быть очень полезны при проектировании целевых функций нейронных сетей. Ян Лекун указал на это здесь: https://plus.google.com/+YannLeCunPhD/posts/gWE7Jca3Zoq .

Один пример.

Вариационный авто кодировщик и производные являются ориентированными графическими моделями видаНейронные сети используются для реализации и приближения к его обратному: .p ( x | z ) q ( z | x ) p ( z | x )

p(x)=zp(x|z)p(z)dz.
p(x|z)q(z|x)p(z|x)
Байера
источник
Можно ли тренировать две части совместно?
nn0p
16

Отличные ответы уже.

Одна область, о которой я могу думать, и над которой я работаю, - это область аналитики клиентов .

Я должен понимать и прогнозировать действия и мотивы клиентов, чтобы информировать и предупреждать как службу поддержки, так и отдел маркетинга, а также команды роста.

Итак, здесь нейронные сети действительно хорошо справляются с прогнозированием оттока и т. Д. Но я нашел и предпочел стиль байесовских сетей, и вот причины, по которым он предпочтет:

  1. У клиентов всегда есть образец. У них всегда есть причина действовать. И эта причина будет чем-то, что моя команда сделала для них, или они узнали сами. Итак, здесь все имеет приоритет, и на самом деле эта причина очень важна, поскольку она подпитывает большую часть решений, принимаемых клиентом.
  2. Каждое движение со стороны клиента и команд роста в воронке маркетинга / продаж является следствием. Таким образом, предварительные знания жизненно важны, когда речь идет о преобразовании потенциального клиента в клиента.

Таким образом, концепция априора очень важна, когда дело доходит до аналитики клиентов, что делает концепцию байесовских сетей очень важной для этой области.


Предлагаемое обучение:

Байесовские методы для нейронных сетей

Байесовские сети в бизнес-аналитике

Dawny33
источник
15

Иногда вы беспокоитесь об изменении результата так же, как и при прогнозировании результата.

Нейронная сеть, получающая достаточное количество обучающих данных, будет склонна лучше прогнозировать результат, но как только вы сможете предсказать результат, вы можете захотеть предсказать влияние внесения изменений в входные функции на результат.

Пример из реальной жизни, знание того, что у кого-то может случиться сердечный приступ, полезно, но возможность сказать ему, что если он перестанет делать ХХ, риск уменьшится на 30%, будет гораздо выгоднее.

Точно так же для удержания клиентов знание того, почему клиенты прекращают делать покупки у вас, стоит столько же, сколько и прогнозирование клиентов, которые могут прекратить делать покупки у вас.

Кроме того, более простая байесовская сеть, которая менее предсказывает, но приводит к большему количеству предпринимаемых действий, часто может оказаться лучше, чем более «правильная» байесовская сеть.

Самое большое преимущество байесовских сетей над нейронными сетями состоит в том, что они могут использоваться для причинного вывода. Эта отрасль имеет фундаментальное значение для статистики и машинного обучения, и Иудея Перл получила награду Тьюринга за это исследование.

Ян Рингроз
источник
Но нейронные сети также могут использоваться для определения роли и важности различных функций, верно?
Хоссейн
7

Байесовские сети могут превзойти нейронные сети в небольших данных. Если предшествующая информация должным образом управляется через структуру сети, априоры и другие гиперпараметры, она может иметь преимущество над нейронными сетями. Нейронные сети, особенно те, которые имеют больше уровней, очень хорошо известны как жаждущие данных. Почти по определению много данных необходимо, чтобы правильно их обучить.

Владислав Довгальец
источник
4

Я разместил эту ссылку на Reddit и получил много отзывов. Некоторые разместили свои ответы здесь, другие нет. Этот ответ должен суммировать сообщение Reddit. (Я сделал это вики-сообществом, чтобы я не получал за это очки)

лося
источник
2

Байесовские сети являются предпочтительными для интерпретации генома. См., Например, эту диссертацию, обсуждающую вычислительные методы для интерпретации генома.

Натаниэль Хендрикс
источник
2
Почему они предпочитают?
Ян Рингроз
2

Я сделал небольшой пример для этого один раз. Исходя из этого, я думаю, что байесовские сети предпочтительнее, если вы хотите захватить дистрибутив, но ваш входной обучающий набор не очень хорошо охватывает дистрибутив. В таких случаях даже хорошо развитая нейронная сеть не сможет восстановить распределение.

Лила Прабху
источник
-3

Я категорически не согласен с тем, что нейронные сети лучше других учеников. На самом деле нейронные сети работают довольно плохо по сравнению с другими методами. Также не существует методологии, несмотря на некоторые советы по выбору параметров, которые часто делают случайно. Есть также парни, которые случайным образом говорят на форумах о том, как нейронные сети настолько хороши, не потому, что у них есть некоторые доказательства этого, а потому, что их привлекают модные и модные слова "нейронные". Они также очень нестабильны, Вы пробовали нейронную сеть для сравнения с xgboost? Я не буду пробовать какую-либо нейронную сеть, пока она не станет самоосознанной. Так что до тех пор счастливой нейронной сети :)

gm1
источник
3
Это слишком расплывчато и разговорно, чтобы дать хороший ответ. Некоторые особенности, факты и редактирование улучшат его.
Шон Оуэн
«Конкретные факты» должны указывать люди, которые публикуют подобные сообщения о том, что нейронные сети - лучшие, вы не можете сказать, что нейронные сети работают хорошо только потому, что они звучат причудливо, в нейронных сетях, вероятно, также есть наборы данных плохо таким образом, что кнн получают гораздо лучший результат.
gm1
1
Хотя я не отрицаю ваши взгляды, вы также не должны понимать, что ваш ответ на самом деле не отвечает на вопрос. Итак, рассмотрите возможность добавления его в качестве комментария. И, пожалуйста, добавьте любые конкретные доказательства и теорию, подтверждающую ваш ответ, иначе будущие зрители могут
посчитать его пустым разговором
1
@ gm1 Полагаю, что вы имели в виду меня с ",, Конкретные факты '" должны быть указаны людьми, которые публикуют подобные сообщения о том, что нейронные сети - лучшие ". Обратите внимание, что я не написал заявление, которое было таким общим. Я написал, что NN побеждает во многих соревнованиях / CV задач. И я добавил пару проблем, в которых победили подходы нейронных сетей.
Мартин Тома
Привет, есть, конечно, некоторые соревнования Kaggle, в которых нейронные сети преуспели (предположим, что они не использовали нейронные сети в сочетании с другими моделями), но это небольшая часть всех соревнований Kaggle, вы могли бы использовать нейронную сеть, чтобы пойти ТОП 3 в KGGL TFI? Я думаю, что я могу сделать как для публичного и частного LB с нелинейной моделью.
gm1