Каковы преимущества использования байесовской нейронной сети

12

Недавно я прочитал несколько статей о байесовской нейронной сети (BNN) [Neal, 1992] , [Neal, 2012] , которая дает вероятностное соотношение между входом и выходом в нейронной сети. Обучение такой нейронной сети происходит через MCMC, который отличается от традиционного алгоритма обратного распространения.

Мой вопрос: в чем преимущество использования такой нейронной сети? В частности, не могли бы вы привести некоторые примеры, которые лучше соответствуют BNN, а не NN?

fishiwhj
источник

Ответы:

9

Байесовские нейронные сети полезны для решения проблем в областях, где данных недостаточно, как способ предотвращения переобучения. Они часто бьют все другие методы в таких ситуациях. Примерами приложений являются молекулярная биология ( например, эта статья ) и медицинская диагностика (области, где данные часто поступают из дорогостоящих и трудоемких экспериментальных работ). На самом деле, байесовские сети универсально полезны и могут получить лучшие результаты для огромного числа задач, но их чрезвычайно трудно масштабировать до больших проблем.

Денис Тарасов
источник
2
Можете ли вы рассказать, почему байесовские сети трудно масштабировать?
Эллис Валентинер
6

Одним из преимуществ BNN над NN является то, что вы можете автоматически вычислять ошибку, связанную с вашими прогнозами, при работе с данными неизвестных целей. С BNN мы сейчас делаем байесовский вывод. Давайте определим наш BNN-прогноз как , где - функция NN, - ваши входные данные , - параметры NN, а x, t - входные данные и цели обучения. Это должно быть совместимо с синтаксисом, используемым Нилом в ссылках, предоставленных @forecaster. Затем мы можем вычислить стандартное отклонение апостериорного предиктивного распределения, которое я наивно использовал бы в качестве точности прогноза:ех'шсг(х')=f¯(x|x,t)=f(x,ω)p(ω|x,t)dωfxωσ(x)=[f(x,ω)f¯(x|x,t)]2p(ω|x,t)dω

Мишель К
источник
1
Это интересное дополнение к разговору, но оно немного коротко по нашим меркам. Не могли бы вы уточнить немного и, возможно, включить ссылку?
Sycorax сообщает, что восстановит Монику
Конечно. С BNN мы сейчас делаем байесовский вывод. Давайте определим наш прогноз BNN как , где f - это NN function, x '- ваши входные данные, - параметры NN, а - входные данные и цели обучения. Это должно быть совместимо с синтаксисом, используемым Нилом в ссылках, предоставленных @forecaster. Затем мы можем рассчитать стандартное отклонение апостериорного прогнозирующего распределения, которое я наивно использовал бы в качестве точности прогноза:f¯(x|x,t)=f(x,ω)p(ω|x,t)dωωx,tσ(x)=([f(x,ω)f¯(x|x,t)]2p(ω|x,t)dω)
Мишель К
Пожалуйста, отредактируйте это в своем ответе.
Sycorax сообщает, что восстановит Монику