Зачем нам объяснимый ИИ?

56

Если первоначальная цель разработки ИИ заключалась в том, чтобы помочь людям в выполнении некоторых задач, и эта цель по-прежнему сохраняется, почему мы должны заботиться о его объяснимости? Например, в глубоком обучении, если интеллект помогает нам в меру своих возможностей и тщательно принимает свои решения, зачем нам знать, как работает его интеллект?

Малиоборо
источник
15
Что происходит, когда ИИ не дает хорошего ответа? Как вы находите проблему? Как вы проверяете решение, если не понимаете причины? Как вы убедитесь, что мы не превратили все в скрепки? :)
Луана
8
Не публиковать его как ответ, так как я подозреваю, что он не соответствует стандартам, но предположим, что мы спрашиваем ИИ, как решить проблемы климата, и он говорит «загрязняет океаны». Может быть, это правильно, и есть какой-то придуманный способ, которым это исправляет вещи. Возможно, разработчик допустил ошибку, и фактический результат должен был быть «незагрязненным океанами». Как вы собираетесь проводить различие между этими двумя, если не очень точно рассуждать ИИ?
Флейтер
5
Действительно ли нужен какой-либо ответ на этот вопрос, помимо общеизвестного существования методов состязательности? Прямо сейчас можно внести крошечные изменения во входные данные, которые создают чрезвычайно непропорциональные изменения в выходных данных. В таких задачах, как визуальное распознавание объектов, в которых результаты могут быть легко сопоставлены с реальным интеллектом, результаты кажутся бессмысленными и безумными и указывают на то, что то, что «видит» ИИ, сильно отличается от того, что мы видим , Если ИИ не может объяснить себя в таких случаях, его полезность резко падает.
Мейсон Уилер
1
Хотя ваш вопрос основан на необходимости объяснимого ИИ, я также хотел бы предложить чтение, которое бросает вызов этой точке зрения - я думаю, что в этом есть очень хорошие моменты. Среди прочего, одна из причин необходимости объяснимости может быть связана с нашей человеческой потребностью в объяснении систем вокруг нас, а затем с нашим более высоким доверием к системам, которые мы понимаем, даже если эти системы уступают другим, которые мы НЕ понимаем. Надеюсь, что это добавляет материал для размышлений - hackernoon.com/…
Элизио Квинтино
2
Это может быть интересным дополнительным ресурсом. Люди пытались создать классификатор Husky vs Wolf, а затем поняли, что сеть фокусируется не на животном, а на фоне, потому что все изображения со снегом на заднем плане были волками. Другими словами, если вы обнаружите автомобиль, вы должны быть уверены, что это из-за автомобиля на изображении, а не из-за знака остановки на боковой стороне изображения.
Яак

Ответы:

64

Как утверждают Selvaraju et al. Есть три стадии эволюции ИИ, во всех из которых интерпретация полезна.

  1. На ранних стадиях развития ИИ, когда ИИ слабее, чем человеческая деятельность, прозрачность может помочь нам построить лучшие модели . Это может дать лучшее понимание того, как работает модель, и поможет нам ответить на несколько ключевых вопросов. Например, почему модель работает в одних случаях и не работает в других, почему одни примеры путают модель больше, чем другие, почему эти типы моделей работают, а другие нет и т. Д.

  2. Когда ИИ находится на одном уровне с человеческими характеристиками и модели ML начинают развертываться в нескольких отраслях, это может помочь укрепить доверие к этим моделям. Я подробно остановлюсь на этом позже, потому что считаю, что это самая важная причина.

  3. Когда ИИ значительно превосходит людей (например, ИИ играет в шахматы или в го), он может помочь с машинным обучением (то есть обучением на машине тому, как улучшить работу человека при выполнении этой конкретной задачи).

Почему доверие так важно?

Во-первых, позвольте мне привести несколько примеров отраслей, в которых доверие имеет первостепенное значение:

  • В сфере здравоохранения представьте, что Deep Neural Net выполняет диагностику определенного заболевания. Классический черный ящик NN будет просто выводить двоичное «да» или «нет». Даже если бы он мог превзойти людей по абсолютной предсказуемости, на практике это было бы совершенно бесполезно. Что если доктор не согласен с оценкой модели, разве он не должен знать, почему модель сделала такой прогноз; Может быть, он видел что-то, что пропустил доктор. Кроме того, если бы он ошибся в диагностике (например, больной был классифицирован как здоровый и не получил надлежащего лечения), кто бы взял на себя ответственность: пользователь модели? больница? компания, которая разработала модель? Правовая база вокруг этого немного размыта.

  • Другим примером являются автомобили с автоматическим управлением. Возникают те же вопросы: если разбился автомобиль, то кто виноват: водитель? производитель автомобилей? компания, которая разработала AI? Юридическая ответственность, является ключом к развитию этой отрасли.

Фактически, это отсутствие доверия, по мнению многих, препятствовало принятию ИИ во многих областях (источники: 1 , 2 , 3 ). Хотя существует распространенная гипотеза о том, что с более прозрачными, интерпретируемыми или объяснимыми системами пользователи будут лучше подготовлены для понимания и, следовательно, доверия интеллектуальным агентам (источники: 1 , 2 , 3 ).

В некоторых реальных приложениях нельзя просто сказать: «Это работает 94% времени». Вам также может понадобиться предоставить обоснование ...

Постановления правительства

Несколько правительств постепенно начинают регулировать ИИ, и прозрачность, кажется, находится в центре всего этого.

Первым, кто будет двигаться в этом направлении, является ЕС, который установил несколько руководящих принципов, в которых говорится, что ИИ должен быть прозрачным (источники: 1 , 2 , 3 ). Например, GDPR гласит, что если данные человека были подвержены системам «автоматического принятия решений» или «профилирования», то он имеет право на доступ

«значимая информация о логике»

( Статья 15, ВВП ЕС )

Теперь это немного размыто, но явно намеревается требовать какой-либо формы объяснения от этих систем. Общая идея, которую пытается пропустить ЕС, заключается в том, что «если у вас есть автоматизированная система принятия решений, влияющая на жизнь людей, они имеют право знать, почему было принято определенное решение». Например, у банка есть ИИ, принимающий и отклоняющий заявки на кредит, тогда заявители имеют право знать, почему их заявка была отклонена.

Подводить итоги...

Объясняемые ИИ необходимы, потому что:

  • Это дает нам лучшее понимание, которое помогает нам улучшить их.
  • В некоторых случаях мы можем учиться у ИИ, как принимать лучшие решения в некоторых задачах.
  • Это помогает пользователям доверять ИИ, что приводит к более широкому принятию ИИ.
  • Развернутые ИИ в (не в отдаленном) будущем, возможно, должны быть более «прозрачными».
Djib2011
источник
4
Это именно проблема (ИМХО). Часто вы не можете исчерпывающе протестировать черный ящик, а затем вы принимаете (даже в жизненно важных приложениях) что-то, что «кажется достаточно хорошим», в данном случае человеческий мозг, и мы все хорошо с этим справляемся. Если мы не можем сделать это для ИИ, то это из-за (ограничений?) В наших правилах, а не потому, что «для полета на самолете все должно быть математически доказано» (это не так, даже в наши дни без ИИ). Конечно, способ тестирования ИИ не может быть таким же, как вы тестируете пилота-человека (даже если они могут частично совпадать).
Адриано Репетти
11
@ZsoltSzilagy Я не говорю, что государственное регулирование - это плохо. Я просто говорю, что они являются серьезной причиной для разработки объяснимого ИИ, если вы работаете в некоторых отраслях.
Djib2011,
8
Еще один момент, который нужно добавить, это концентрация риска. Собака, которая нюхает наркотики, может быть предвзятой, и вы не можете спросить ее, почему она приняла определенные решения. Но это всего лишь одна собака из тысячи. Одна модель ИИ будет развернута в глобальном масштабе, поэтому, если она ошибочна, это окажет гораздо большее влияние.
Брендан Уайтинг
19
@Brendan, на самом деле это интересный случай. Какая разница между собакой, которая нюхает наркотики, и ИИ, которая нюхает наркотики. Зачем требовать, чтобы ИИ давал объяснения, а собаке нет необходимости ... Я думаю, разница в том, что в первом случае собака - это всего лишь инструмент, который помогает человеку (в данном случае, полицейскому DEA) сделать его решение. В конечном счете, он несет ответственность за это, а не собака. Точно так же нет проблем с AI для поддержки принятия решений , только с теми, кто принимает решения . Вот как я думаю, что вся эта подотчетность во многих сферах в конечном итоге будет обойдена.
Djib2011
6
Может быть, это также проблема неизвестных неизвестных. Мы дрессировали животных тысячи лет и уверены, что это стабильно. Если бы собирались стаи обученных мародерствующих животных, которые захватили мир, это, вероятно, произошло бы уже сейчас. (Хотя мне нравится теория, что большинство собак являются паразитами, они стали настолько милыми, что мы заботимся о них, а не о своих собственных детенышах).
Брендан Уайтинг
15

Зачем нам объяснимый ИИ? ... почему мы должны знать, "как работает его интеллект?"

Потому что любой, у кого есть доступ к оборудованию, достаточно навыков и времени, может заставить систему принять неожиданное решение. Владелец оборудования или третьи лица, полагающиеся на решение без объяснения причин его правильности, окажутся в невыгодном положении.

Примеры - Кто-то может обнаружить:

  • Люди, которых зовут Джон Смит и которые требуют операции на сердце по утрам во вторник, во второй половине дня в среду или по пятницам в нечетные дни и месяцы, имеют 90% вероятности переместиться на передовую.

  • Пары, у которых фамилия мужчины нечетная буква в первой половине алфавита и подать заявку на кредит с супругом, чье имя начинается с буквы в начале алфавита, на 40% чаще получают кредит, если они имеют менее 5 плохих записей в их кредитной истории.

  • и т.п.

Обратите внимание, что вышеприведенные примеры не должны быть определяющими факторами в отношении задаваемого вопроса, однако злоумышленник (со своим собственным оборудованием или знанием алгоритма) может использовать его.

Исходные документы :

  • « AdvHat: реальная состязательная атака на систему ArcFace Face ID » (23 августа 2019 г.) Степана Комкова и Александра Петюшко

    • Создавая наклейку и размещая ее на своей шляпе, система распознавания лиц дураков.
  • « Защита от атак противника с помощью регенерации упругих элементов » (8 июня 2019 г.), Теджас Боркар, Феликс Хайде и Лина Карам

    • «Показано, что предсказания глубинной нейронной сети (DNN) уязвимы для тщательно продуманных состязательных возмущений. В частности, так называемые универсальные состязательные возмущения представляют собой возмущения, не зависящие от изображения, которые могут быть добавлены к любому изображению и могут обмануть целевую сеть, делая ошибочные предсказания. Отступая от существующих стратегий состязательной защиты, которые работают в области изображений, мы представляем новую защиту, которая работает в области функций DNN и эффективно защищает от таких универсальных атак со стороны соперников. Наш подход определяет предварительно обученные сверточные функции, которые наиболее уязвимы для состязательности. шум и развертывание защитных устройств, которые преобразуют (регенерируют) эти срабатывания фильтра DNN в устойчивые к шуму функции, защищая от невидимых состязаний. ".

  • « Однопиксельная атака для обмана глубоких нейронных сетей » (3 мая 2019 г.), автор - Джавэй Су, Данило Васкончелос Варгас и Сакурай Куичи

    • Изменение одного пикселя может вызвать следующие ошибки:

    Рисунок 1
    Рис. 1. Однопиксельные атаки, созданные с помощью предложенного алгоритма, который успешно обманул три типа DNN, обученных на наборе данных CIFAR-10: Все сверточная сеть (AllConv), Сеть в сети (NiN) и VGG. Исходные метки классов окрашены в черный цвет, а метки целевых классов и соответствующие значения доверия приведены ниже.

     

    фигура 2
    Рис. 2. Однопиксельные атаки на набор данных ImageNet, где измененные пиксели выделены красными кружками. Исходные метки классов окрашены в черный цвет, а метки целевых классов и их достоверность приведены ниже.

Без объяснения того, как и почему решение приходит к решению, нельзя полностью полагаться.

обкрадывать
источник
1
Результаты атак на один пиксель и других подобных вещей - вот почему я утверждаю, что глубокое обучение ничему не учит.
Иисус Навин
1
@ Joshua Ну, это не обучение, как в обучении человека (понимание рассуждений), но оно изучает многомерную функцию, которая может классифицировать эти изображения по категориям. Он сделал это сам по себе, даже несмотря на то, что он нашел лучшее решение с использованием грубой силы. Многое можно ожидать от сгустка металла и песка, аккуратно расположенных для обеспечения систематического прохождения электричества.
user14492
1
К вашим примерам, скажем, ссуде для пар с нестабильным состоянием, разве это не смягчается только путем подачи данных модели, о которых она должна заботиться? Подобно тому, как имя никогда не должно передаваться ИИ, потому что ИИ никогда не должен делать определения на основе имени запрашивающей стороны. Я понимаю вашу точку зрения, хотя могут быть менее надуманные примеры с точками данных, которые действительно нужны ИИ. Однопиксельные атаки очень интересны
Cruncher
@Cruncher Менее надуманные примеры всегда лучше, когда кто-то подчеркивает, так же как в ретроспективе это 20/20. Как насчет того, если предыдущий отказанный кредит имел как простое число (больше 7), так и предыдущий имел два простых числа, между 17 и 43, и т. Д. Затем вы найдете кого-то, кто говорит, что он продаст что-то за X долларов, возьмите кредит и попытайтесь дисквалифицировать, сделайте это несколько раз, теперь берите кредит на дом или судно - 30% больше шансов, а предыдущие отказы снижены. Без объяснения причин вы всегда хотели бы сделать свой выбор.
Роб
@ Джошуа Ну, они, конечно, могут узнать, как найти один пиксель атаки и тому подобные вещи. (В документе, связанном здесь, использовался эволюционный подход, но я видел похожие результаты при использовании GAN.) Ни один метод классификации не будет идеальным. Человеческое зрение уязвимо для оптических иллюзий. Это машинный эквивалент. Мы можем просто найти более экстремальные примеры для систем машинного зрения, потому что они могут делать и записывать прогнозы быстрее, чем люди, поэтому мы можем эффективно обучить другую систему для поиска состояний отказа, соответствующих определенным критериям.
Рэй
8

Если вы являетесь банком, больницей или любой другой организацией, которая использует прогнозную аналитику для принятия решения о действиях, которые оказывают огромное влияние на жизнь людей, вы не будете принимать важные решения только потому, что деревья с градиентным ускорением сказали вам это сделать. Во-первых, потому что это рискованно и основная модель может быть неправильной, а во-вторых, потому что в некоторых случаях это незаконно - см. Право на объяснение .

Томаш Бартковяк
источник
5

Объясняемый ИИ часто желателен, потому что

  1. ИИ (в частности, искусственные нейронные сети) может катастрофически не справиться с поставленной задачей. Точнее говоря, его можно взломать или атаковать с помощью состязательных примеров, или он может принимать неожиданные неправильные решения, последствия которых катастрофичны (например, это может привести к гибели людей). Например, представьте, что ИИ отвечает за определение дозировки лекарства, которое необходимо давать пациенту, исходя из условий пациента. Что делать, если ИИ делает неправильный прогноз, и это приводит к смерти пациента? Кто будет нести ответственность за такие действия? Для того, чтобы принять прогноз дозировки ИИ, врачи должны доверятьИИ, но доверие приходит только с пониманием, которое требует объяснения. Поэтому, чтобы избежать таких возможных сбоев, очень важно понять внутреннюю работу ИИ, чтобы он больше не принимал неправильных решений.

  2. ИИ часто нужно взаимодействовать с людьми, которые являются живыми существами (у нас есть чувства) и которым часто нужно объяснение или заверение (в отношении какой-то темы или события).

  3. В общем, люди часто ищут объяснения и понимания своего окружения и мира. По своей природе мы любопытные и исследовательские существа. Почему яблоко падает?

nbro
источник
4

Ответ на это невероятно прост. Если вы однажды управляете банком, вам, возможно, придется встать в суд и объяснить, почему ваш ИИ отказал в ипотеке всем этим людям ... которые случайно оказались под охраной в соответствии с антидискриминационным законодательством. Судья не будет счастлив, если вы отмахиваетесь от вопроса, бормотая что-то об алгоритмах. Или еще хуже, почему эта машина / самолет разбилась и как вы предотвратите это в следующий раз.

Это является основным препятствием для более широкого внедрения ИИ во многих отраслях.

Gaius
источник
1
«Ответ» преувеличивает ваш случай. Я был бы рад, если бы вы сказали «Один ответ ...»
Джон Колман
3

Другая причина: в будущем ИИ может использоваться для задач, которые невозможно понять людям, понимая, как данный алгоритм ИИ работает над этой проблемой, мы могли бы понять природу данного явления.

Makintosz
источник
2

В дополнение ко всем этим ответам, в которых упоминаются более практические причины того, почему нам нужны объяснимые ИИ, я бы хотел добавить более философский.

Понимание того, как все вокруг нас работает, является одной из главных движущих сил науки с древности. Если у вас нет понимания того, как все работает, вы не сможете развиваться дальше этого уровня. Просто потому, что «гравитация работает» не остановила нас, пытаясь понять, как это работает. В свою очередь, лучшее понимание этого привело к нескольким ключевым открытиям, которые помогли нам продвинуть нашу технологию.

Аналогично, если мы остановимся на «это работает», мы перестанем его улучшать.


Редактировать:

ИИ не просто заставлял «думать машины», но и помогал им понять, как работает человеческий мозг. ИИ и нейробиология идут рука об руку .

Все это было бы невозможно без объяснения AI.

Джером
источник
0

Не следует предполагать, что развитие ИИ изначально было мотивировано стремлением помочь людям. Есть много правдоподобных объяснений, которые одинаково трудно либо доказать, либо опровергнуть.

  • Будьте известны, чтобы придумать какую-то футуристическую идею, прежде чем кто-либо еще
  • Приобретите власть заранее воображаемого врага или потенциального будущего
  • Потому что это может быть возможно
  • Ради забавы
  • Потому что министерство обороны США, вероятно, будет финансировать его на неопределенный срок
  • Это хороший карьерный шаг
  • Чтобы доказать, что в человеческом мозге нет ничего особенного
  • Нас наняли и дали немного денег, и это казалось хорошим способом потратить их
  • Было решено заняться этим, но никто из нас не помнит, почему

В этом вопросе также есть некоторые плохо определенные описательные слова, хотя может быть трудно найти более подходящие слова, чтобы заменить их. Как бы мы формализовали это?

  • В меру своих способностей (интеллектуальных систем) --- Каким образом мы будем оценивать способности и сравнивать результаты с ними? Мы говорим студенту: «Вы не применяете себя», но это вряд ли научное наблюдение. Это несколько произвольное суждение, основанное на проекции достижений, которая не была достигнута в соответствии с системой оценок третьей стороны и ее применением другими ошибочными сторонами.
  • Тщательное принятие решений. Забота подразумевает цели, которые сами по себе являются объективными. Мы еще не документировали передовую вычислительную платформу, которая кодирует систему этики, применяемую для отвлеченного понимания ситуаций, таких как в случае этичного человека, когда забота приобретает какое-либо реалистическое значение. То, что логический элемент nand выполняет функцию nand надежно, или доказано, что некоторый алгоритм сходится с заданным размером набора данных при определенных условиях, вряд ли является полностью расширенным значением того, чем мы являемся, когда мы осторожны.
  • Объясняемый --- Это тоже неоднозначно. С одной стороны, сходимость набора значений параметров во время сходимости искусственной сети является объяснением, но отдельные значения не объясняются. С другой стороны, полный отчет о гипотезе, плане эксперимента, выборе набора условий, анализе, результатах и ​​заключении все еще не является исчерпывающим объяснением. Такой отчет может включать только менее 1% информации, описывающей применение человеческого интеллекта к исследованию, изложенному в отчете.

Ранняя работа над искусственными сетями была подвергнута критике в журналах AI в начале 1990-х годов за то, что она не объяснялась на основе отслеживаемости. Производственные (основанные на правилах) системы оставили контрольные следы применяемых правил и результатов предыдущих правил, чтобы кто-то мог собрать письменное доказательство результата. Это было ограниченно полезно.

Когда рулевые колеса сняты с транспортных средств и некоторые юрисдикции начинают принимать законы против вождения людей в некоторых регионах, этого не произойдет, потому что были выписаны доказательства безопасности в миллионе сценариев. Это будет связано с тем, что распределение зарегистрированных случайных смертей, расчленений и разрушений имущества в результате использования ИИ водителя, установленного на конкретном типе транспортного средства, в течение достаточно убедительного периода времени указывает на его безопасность по сравнению с этими распределениями для водителей-людей. В конце концов, в каком-то зале суда или на законодательном собрании кто-то скажет это или его эквивалент.

Если мы не объявим вне закона вождение человека в указанных конкретных условиях для обсуждаемого региона, мы приговариваем X человек, женщин, детей и пожилых пешеходов и пассажиров в год к преждевременной смерти.

Понимание механизма действия и решений, принятых для конкретных случаев, полезно, но почему это полезно, так же неопределенно, как и то, почему ИИ стал жизнеспособной областью работы и учебы.

  • Было бы интересно сравнить конкурирующие системы искусственного интеллекта в некотором количественном выражении.
  • Было бы очень полезно узнать больше об интеллекте.
  • Лучшее объяснение делает для хорошей бумаги.
  • Я рисовал один день и нашел способ объяснить определенный класс систем, который, казалось, плохо объясним.

Несмотря на то, что неосуществляемость систем искусственного интеллекта может возникнуть в результате законодательных и судебных процессов, большая часть принятых решений будет основываться на том, как публикуются и воспринимаются статистические оценки. Те, кто настаивают на том, что системы работают так, как это можно объяснить, вероятно, будут сознательно или подсознательно мотивированы интересом к восприятию того, что доминирование людей является явной судьбой. Больше чем просто ирония в том, что многие из тех, кто способствовал интересам США и СССР во время холодной войны, теперь считаются лидерами террористов преемниками обеих группировок холодной войны.

Связанный и более четко отвечающий вопрос заключается в том, можно ли ожидать, что разумный помощник останется помощником в течение неопределенного времени. Расследование вечно-умных-вечно-помощников продолжается и представляет огромный интерес для всех, от научных авторов и сценаристов до военных аналитических центров.

Дуглас Дасеко
источник
-1

ИМХО, самая важная потребность в объяснимом ИИ - это не дать нам стать интеллектуально ленивыми. Если мы перестанем пытаться понять, как найти ответы, мы уступим игру нашим машинам.

С. МакГрю
источник
Ну, мы понимаем, как они находят ответы на высоком уровне: они угадывают миллионы раз, пока не найдут многообещающую модель. Интеллектуальная задача состоит в том, чтобы понять, ЧТО ПРИЧИНАЕТ эти паттерны - вопрос, который не должен волновать ИИ.
Жолт Силаги
Иногда это правда, но некоторые типы ИИ (например, генетические алгоритмы) часто работают лучше, чем это, и их можно структурировать, чтобы дать хорошие подсказки о причинах паттернов. Иногда простое указание на то, что «шаблон, найденный в этом наборе данных, очень похож на шаблон, обнаруженный в этом другом наборе данных», может быть очень информативным и привести к объяснению причины.
С. Макгрю