Я часто слышу, как люди говорят о нейронных сетях, как о чёрном ящике, который вы не понимаете, что он делает или что они значат. Я на самом деле не могу понять, что они имеют в виду под этим! Если вы понимаете, как работает обратное распространение, то как это черный ящик?
Они имеют в виду, что мы не понимаем, как были рассчитаны веса или что?
machine-learning
neural-networks
Джек Твен
источник
источник
Ответы:
Нейронная сеть - это черный ящик в том смысле, что, хотя она может аппроксимировать любую функцию, изучение ее структуры не даст вам понимания структуры аппроксимируемой функции.
Например, одним из распространенных применений нейронных сетей в банковском бизнесе является классификация заемщиков по категориям «хорошие плательщики» и «плохие плательщики». У вас есть матрица входных характеристик (пол, возраст, доход и т. Д.) И вектор результатов («по умолчанию», «не по умолчанию» и т. Д.). Когда вы моделируете это с помощью нейронной сети, вы предполагаете, что существует функция в собственном смысле математической функции. Эта функция f может быть произвольно сложной и может меняться в зависимости от развития бизнеса, поэтому вы не можете получить ее вручную.С р е( C) = R
Затем вы используете нейронную сеть для построения приближения с частотой ошибок, приемлемой для вашего приложения. Это работает, и точность может быть сколь угодно малой - вы можете расширить сеть, настроить параметры обучения и получать больше данных, пока точность не достигнет ваших целей.е
Проблема черного ящика: приближение, данное нейронной сетью, не даст вам никакого представления о форме f. Не существует простой связи между весами и аппроксимируемой функцией. Даже анализ того, какая входная характеристика не имеет значения, является открытой проблемой (см. Эту ссылку ).
Кроме того, с традиционной точки зрения статистики нейронная сеть является неидентифицируемой моделью: учитывая набор данных и топологию сети, могут быть две нейронные сети с разными весами и одинаковым результатом. Это делает анализ очень сложным.
В качестве примера «моделей не черного ящика» или «интерпретируемых моделей» у вас есть уравнения регрессии и деревья решений. Первый дает вам приближенную форму f для замкнутой формы, где важность каждого элемента является явной, второй представляет собой графическое описание некоторых относительных соотношений рисков и шансов.
источник
Google опубликовал Inception-v3 . Это нейронная сеть (NN) для алгоритма классификации изображений (рассказывает кошку от собаки).
В статье говорится о текущем состоянии классификации изображений
и именно поэтому мы называем NN для черных ящиков. Если я обучу модель классификации изображений - с 10 миллионами параметров - и передам ее вам. Что ты можешь сделать с этим?
Вы, конечно, можете запустить его и классифицировать изображения. Это будет отлично работать! Но вы не можете ответить ни на один из следующих вопросов, изучив все веса, уклоны и структуру сети.
Вы можете ответить на вопросы, просто запустив NN и увидев результат (черный ящик), но у вас нет никаких изменений в понимании того, почему он ведет себя так, как в крайних случаях.
источник