Разве нельзя сказать, что модели глубокого обучения можно интерпретировать? Особенности узлов?

27

Для статистических моделей и моделей машинного обучения существует несколько уровней интерпретируемости: 1) алгоритм в целом, 2) части алгоритма в целом, 3) части алгоритма на конкретных входных данных, и эти три уровня разбиты на две части каждая, один для обучения и один для функции eval. Последние две части гораздо ближе, чем к первой. Я спрашиваю о # 2, который обычно приводит к лучшему пониманию # 3). (если это не то, что означает «интерпретируемость», тогда о чем мне думать?)

Что касается интерпретируемости, логистическая регрессия является одной из самых простых для интерпретации. Почему этот экземпляр прошел порог? Потому что этот экземпляр имел именно эту положительную особенность, и он имеет больший коэффициент в модели. Это так очевидно!

Нейронная сеть - классический пример модели, которую трудно интерпретировать. Что означают все эти коэффициенты ? Все они складываются таким сложным безумным образом, что трудно сказать, что на самом деле делает какой-то конкретный коэффициент.

Но с выходом всех глубоких нейронных сетей кажется, что все становится яснее. Модели DL (скажем, для видения), кажется, фиксируют такие вещи, как ребра или ориентация в ранних слоях, а в более поздних слоях кажется, что некоторые узлы на самом деле являются семантическими (например, общеизвестная «ячейка бабушки» ). Например:

введите описание изображения здесь

( из «Изучения глубокого обучения» )

Это графика ( из многих ), созданная вручную для презентации, поэтому я очень скептически отношусь. Но это свидетельство того, что кто-то думает, что так оно и есть.

Возможно, в прошлом нам просто не хватало слоев, чтобы найти узнаваемые особенности; Модели были успешными, но не так просто проанализировать отдельные из них.

Но, может быть, графика это просто желаемое за действительное. Может быть, НН действительно непостижимы.

Но многие графические элементы с узлами, помеченными картинками, также действительно привлекательны.

Действительно ли DL-узлы соответствуют функциям?

Митч
источник
6
Я не вижу предпосылок этого вопроса. То, что нейронные сети стали более сложными и дают лучшие прогнозы, не делает их более понятными. Обычно верно обратное: сложность / лучшее предсказание <-> простота / лучшая интерпретация.
AdamO
4
@AdamO совершенно правильно. Из-за этого деревья регрессии (рекурсивное разбиение) являются только интерпретируемыми, потому что результаты неверны . Они не правы, потому что они изменчивы; получить новый образец, и дерево может быть произвольно различным. И отдельные деревья не конкурентоспособны в отношении прогнозной дискриминации. Скупость часто является врагом прогностической дискриминации. И к первоначальному вопросу, в области биомедицины, результаты AI / ML не были интерпретируемыми.
Фрэнк Харрелл
1
См. Эту статью Исследователи ИИ утверждают, что машинное обучение - это алхимия sciencemag.org/news/2018/05/…
Майк Хантер
4
Жирный вопрос в теле и вопрос в вашем названии очень разные. Похоже, что все ответы, в том числе и мои, касаются вопроса в названии. Возможно, вы могли бы задать более узкий вопрос об узлах и функциях в своем собственном потоке? Но прежде чем сделать это, подумайте, что вы уже связались с документом, который отвечает на ваш смелый вопрос утвердительно, поэтому подумайте, что именно вы хотели бы узнать в ответе, прежде чем спрашивать.
Sycorax сообщает, что восстановит Монику
@Sycorax Ссылка, которую я только что добавил, относится к сообщению в блоге, а не к статье, и поэтому я очень скептически отношусь к положительному мнению. Разнообразие интерпретируемости, которое я спрашиваю о DL в названии, я считаю выделенным жирным шрифтом в тексте.
Митч

Ответы:

30

Интерпретация глубоких моделей все еще остается сложной задачей.

  1. Ваш пост упоминает только CNN для приложений компьютерного зрения, но (глубокие или неглубокие) сети прямой связи и рекуррентные сети остаются сложными для понимания.

  2. Даже в случае CNN, которые имеют очевидные структуры «детектора признаков», такие как края и ориентация пиксельных пятен, не совсем очевидно, как эти низкоуровневые элементы агрегируются вверх или что именно происходит, когда эти объекты видения агрегируются в полностью связанный слой.

  3. Состязательные примеры показывают, как сложно интерпретировать сеть. Состязательный пример имеет крошечную модификацию, но приводит к резкому изменению решения, принятого моделью. В контексте классификации изображений незначительное количество шума, добавляемое к изображению, может изменить изображение ящерицы, чтобы иметь очень уверенную классификацию как другое животное, например (вид) собаки.

Это связано с интерпретируемостью в том смысле, что существует сильная, непредсказуемая связь между (небольшим) количеством шума и (большим) сдвигом в решении о классификации. Размышляя о том, как работают эти сети, он имеет некоторый смысл: вычисления на предыдущих уровнях распространяются вперед, так что ряд ошибок - небольших, неважных ошибок для человека - увеличивается и накапливается по мере того, как все больше вычислений выполняется с использованием «поврежденные» входы.

С другой стороны, наличие состязательных примеров показывает, что интерпретация любого узла как особого объекта или класса затруднена, поскольку тот факт, что узел активирован, может иметь мало общего с фактическим содержимым исходного изображения, и что эти отношения не очень предсказуемы с точки зрения исходного изображения. Но в приведенных ниже примерах изображений никого не обманут люди по поводу содержания изображений: вы не спутаете флагшток с собакой. Как мы можем интерпретировать эти решения, либо в совокупности (небольшой шумовой шаблон «превращает» ящерицу в собаку или флагшток в собаку), либо в более мелкие фрагменты (чтобы несколько детекторов признаков были более чувствительны к шаблону шума, чем фактическое изображение содержание)?

HAAM - это многообещающий новый метод генерации состязательных изображений с использованием гармонических функций. («Метод Гармонической Состязательной Атаки» Вэнь Хэн, Шучан Чжоу, Тинтинг Цзян.) Изображения, полученные с помощью этого метода, могут использоваться для имитации эффектов освещения / тени и, как правило, людям еще сложнее обнаружить, что они были изменены.

В качестве примера, см. Это изображение, взятое из « Универсальных состязательных возмущений » Сейедом-Мохсеном Моосави-Дезфоли, Алхусейном Фаузи, Омаром Фаузи и Паскалем Фроссаром. Я выбрал это изображение только потому, что это было одно из первых состязательных изображений, с которыми я столкнулся. На этом изображении показано, что определенная схема шума оказывает странное влияние на решение о классификации изображения, в частности, что вы можете сделать небольшую модификацию входного изображения и заставить классификатор думать, что результатом является собака. Обратите внимание, что исходное, оригинальное изображение все еще очевидно: во всех случаях человек не должен быть смущен, думая, что любые изображения, не являющиеся собаками, являются собаками. adversaria

Вот второй пример из более канонической статьи « ЯН Дж. Гудфеллоу, Джонатон Шленс и Кристиан Сегеди », « ОБЪЯСНЯЯ И ПРИЗНАВАЯ ОБОБЩЕННЫЕ ПРИМЕРЫ ». Добавленный шум совершенно не различим в полученном изображении, но результат очень уверенно классифицируется как неправильный результат, гиббон ​​вместо панды. В этом случае, по крайней мере, существует по крайней мере мимолетное сходство между двумя классами, поскольку гиббоны и панды, по крайней мере, в некоторой степени биологически и эстетически похожи в широком смысле. панда

Этот третий пример взят из « Обнаружения обобщенных состязательных примеров, основанного на несоответствии решений по би-модели » Жуана Монтейру, Захида Ахтара и Тиаго Х. Фалька. Он устанавливает, что структура шума может быть неразличима для человека, но при этом все еще вводит в заблуждение классификатор.неразличимый

Для справки, грязевой щенок - это животное темного цвета с четырьмя конечностями и хвостом, поэтому он не очень похож на золотую рыбку. mudpuppy

  1. Я только что нашел эту газету сегодня. Кристиан Сегеди, Войцех Заремба, Илья Суцкевер, Джоан Бруна, Дмитрий Эрхан, Ян Гудфеллоу, Роб Фергус. « Интригующие свойства нейронных сетей ». Аннотация включает в себя эту интригующую цитату:

Во-первых, мы находим, что нет никакого различия между отдельными единицами высокого уровня и случайными линейными комбинациями единиц высокого уровня, согласно различным методам анализа единицы. Это говорит о том, что именно пространство, а не отдельные единицы, содержит семантическую информацию в верхних слоях нейронных сетей.

Таким образом, вместо того, чтобы иметь «детекторы признаков» на более высоких уровнях, узлы просто представляют координаты в пространстве признаков, которое сеть использует для моделирования данных.

Sycorax говорит восстановить Монику
источник
2
Хорошие моменты. Но обратите внимание, что даже в самых простых моделях (логистика, деревья решений) неясно, почему какой-то конкретный коэффициент / пороговое значение является тем, чем он является (но это не та интерпретация, о которой я спрашивал). Не совсем не связано ли это с какими-нибудь хорошими исследованиями / примерами для языка / RNNs / LSTM?
Митч
7
Я также хотел бы отметить, что даже простые модели, такие как логистическая регрессия, уязвимы для атак со стороны соперников. На самом деле, Goodfellow et. и др. указывает, что это мелкие модели, которые не способны противостоять таким атакам. Тем не менее, мы по-прежнему утверждаем, что способны интерпретировать логистическую регрессию.
Шимао
2
хороший ответ, за исключением пункта 3, который является спорным по двум причинам. 1) Очень редко случается так, что враждебное изображение «для человека неотличимо от неизмененного изображения», если только у этого человека нет серьезных нарушений зрения. Почти всегда вы можете заметить, что к изображению добавлен какой-то шаблон шума, особенно на заднем плане, эстетически напоминающий так называемый JPEG-шум (только визуально: фактические статистические свойства возмущения различны). Что удивительно, так это то, что классификатор не уверен, является ли это добросовестным котом, а не, скажем, испорченным 1 /
DeltaIV
2
2 / изображение, но это почти наверняка, что это автобус. 2) Как состязательные примеры связаны с интерпретируемостью? Линейные модели, обобщенные линейные модели, а также деревья решений подвержены состязательным примерам. На самом деле легче найти состязательный пример, который обманывает логистическую регрессию, чем пример, который обманывает ResNet. Несмотря на это, мы обычно считаем (G) LM интерпретируемой моделью, поэтому я бы не связывал существование состязательных примеров с интерпретируемостью модели.
DeltaIV
3
@ DeltaIV дело не в том, что вы не можете заметить шум. У каждого jpeg, который был ухудшен слишком много, есть шум. Дело в том, что шумом можно манипулировать, чтобы заставить DNN делать сумасшедшие вещи, вещи, которые не имеют смысла для человеческого наблюдателя, даже если сам шум виден.
Hong Ooi
13

Слои не отображаются последовательно на более абстрактные объекты так чисто, как нам хотелось бы. Хороший способ убедиться в этом - сравнить две очень популярные архитектуры.

VGG16 состоит из множества сверточных слоев, уложенных друг на друга со случайным слоем объединения - очень традиционная архитектура.

С тех пор люди перешли к разработке остаточных архитектур, где каждый слой связан не только с предыдущим, но и с одним (или, возможно, несколькими) слоями, расположенными ниже в модели. ResNet был одним из первых, кто сделал это, и имеет около 100 слоев, в зависимости от того, какой вариант вы используете.

В то время как VGG16 и подобные сети имеют уровни, действующие более или менее интерпретируемым образом - изучая функции более высокого и более высокого уровня, ResNets не делает этого. Вместо этого люди предложили либо усовершенствовать функции, чтобы сделать их более точными, либо просто замаскировать кучу мелких сетей , ни один из которых не соответствует «традиционным взглядам» на то, что изучают глубокие модели.

В то время как ResNet и аналогичные архитектуры превосходят VGG по классификации изображений и обнаружению объектов, похоже, есть некоторые приложения, для которых очень важна простая восходящая иерархия функций VGG. Смотрите здесь для хорошего обсуждения.

Поэтому, учитывая, что более современные архитектуры, кажется, больше не вписываются в картину, я бы сказал, что мы не можем сказать, что CNN еще можно интерпретировать.

Симао
источник
Предположительно, полностью неинженерная / не спроектированная топология сети DL будет представлять собой большой случайный частичный упорядоченный набор, который будет вводить датчики и выводить желаемую функцию (то есть никакой попытки наложения слоев вообще, пусть обучение это выяснит). Узлы здесь были бы очень непостижимыми. Но не означает ли это, что чем более продуманной является топология, тем более вероятно, что она имеет некоторую интерпретируемость?
Митч
3
@ Митч Некоторые недавние архитектуры, такие как Densenet, похоже, медленно приближаются к пределу подключения каждого слоя к любому другому слою - так же, как ваша «не проектируемая сеть». Но, конечно, ResNet и Densenet имеют более сложный дизайн, чем VGG16, но можно сказать, что они менее интерпретируемы - так что нет, я не думаю, что больше дизайна означает более интерпретируемо. Возможно, более редкие соединения означают большую интерпретацию.
Шимао
7

Тема моей кандидатской диссертации состояла в том, чтобы раскрыть свойства черного ящика нейронных сетей, в частности нейронных сетей с прямой связью, с одним или двумя скрытыми слоями.

Я возьму на себя задачу объяснить каждому, что означают весовые коэффициенты, в однослойной нейронной сети с прямой связью. Будут рассмотрены две разные перспективы: параметрическая и вероятностная.

xinput=αx+βαβxinput(0,1)

  • 01
  • vv7

Такое представление ваших входных данных требуется для того, чтобы иметь возможность интерпретировать (абсолютное значение) размер весов во входном слое.

Параметрическое значение:

  • 0
  • вес от скрытого узла до выходного узла указывает на то, что взвешенное усиление входных переменных, которые в абсолютном смысле наиболее усиливаются этим скрытым нейроном, стимулирует или ослабляет конкретный выходной узел. Знак веса указывает на повышение (положительное) или торможение (отрицательное).
  • 132
  • β

1iltsil1Δj,k=∣wi,jwi,kijk

Чем важнее скрытые узлы для выходного узла (по частотам, по обучающему набору), какие «входные веса умноженные на входные частоты» наиболее важны? Затем мы рассмотрим значение параметров нейронных сетей прямой связи.

Вероятностная интерпретация:

xinput

Индивидуальный случай - выкройка

xinput[1,0,0,0,0,0,0][0,1,0,0,0,0,0]или в любой другой будний день), и наиболее вероятные изменения итогов, тогда эта перечисляемая переменная потенциально может повлиять на результат классификации.

xinputxinputE(xinputxinput)xinputxinput

Глубокая склонность - и значение параметров NN

Применительно к компьютерному зрению нейронные сети показали значительный прогресс в последнее десятилетие. Оказалось, что сверточные нейронные сети, представленные LeCunn в 1989 году, в конечном итоге показали себя действительно хорошо с точки зрения распознавания изображений. Сообщалось, что они могут превзойти большинство других компьютерных подходов к распознаванию.

Интересные эмерджентные свойства появляются, когда сверточные нейронные сети обучаются распознаванию объектов. Первый слой скрытых узлов представляет низкоуровневые детекторы объектов, аналогичные операторам масштабного пространства Т. Линдеберг, «Обнаружение объектов с автоматическим выбором масштаба», 1998 . Эти операторы масштабного пространства обнаруживают

  • линии,
  • углы,
  • Т-переходы

и некоторые другие основные функции изображения.

Еще более интересным является тот факт, что воспринимаемые нейроны в мозге млекопитающих, как было показано, напоминают этот способ работы на первых этапах (биологической) обработки изображений. Таким образом, с CNN научное сообщество приближается к тому, что делает человеческое восприятие настолько феноменальным. Это делает очень целесообразным дальнейшее развитие этой линии исследований.

Match Maker EE
источник
Это интересно - не кажется ли это, что это обеспечило бы большую интерпретируемость в случае коррелированных особенностей?
18:30
Ожидаемое значение E (.) Также известно как среднее условного распределения, x_input с учетом x_-input, всех остальных переменных. Следовательно, корреляции полностью включены в эту концепцию ожидаемого влияния. Обратите внимание, что вероятностная независимость имеет более широкое определение, чем «корреляция» - последняя в основном определяется для гауссовских распределенных данных.
Match Maker EE
Ницца. Является ли это своего рода обобщением интерпретации логистической регрессии для набора стековых регрессионных моделей, одна из которых связана с другой?
Митч
Подмножество скрытых узлов может действовать как логическое «ИЛИ» для выходного нейрона или, более того, как логическое «И». ИЛИ происходит, когда одной активации скрытого узла достаточно, чтобы выходной нейрон приблизился к 1. И происходит, когда только сумма активаций скрытого узла может привести к тому, что активация выходного узла приблизится к 1. Независимо от того, больше ли «ИЛИ» или больше » И ', который зависит от обученного вектора веса' вентилятора в ', в выходной узел.
Match Maker EE