В статье «Ограничения глубокого обучения в условиях состязательности» рассматривается, как нейронные сети могут быть повреждены злоумышленником, который может манипулировать набором данных, с которым обучается нейронная сеть. Авторы экспериментируют с нейронной сетью, предназначенной для чтения рукописных цифр, подрывая ее способность к чтению, искажая образцы рукописных цифр, с которыми обучается нейронная сеть.
Я обеспокоен тем, что злоумышленники могут попытаться взломать ИИ. Например
- Обманывают автономные транспортные средства, чтобы неправильно истолковать знаки остановки и ограничение скорости.
- Обход распознавания лиц, например, для банкомата.
- Обход спам-фильтров.
- Обманчивый анализ настроений обзоров фильмов, отелей и т. Д
- В обход двигателей обнаружения аномалий.
- Поддельные голосовые команды.
- Неправильная классификация прогнозов на основе машинного обучения.
Какой эффект состязания может разрушить мир? Как мы можем предотвратить это?
Ответы:
ИИ, с моей точки зрения, уязвим с двух сторон:
Классический метод использования явных программных ошибок для достижения какого-либо выполнения кода на компьютере, на котором запущен AI, или для извлечения данных.
Хитрость через эквивалент оптических иллюзий ИИ для конкретной формы данных, с которой система предназначена для работы.
Первое должно быть смягчено так же, как и любое другое программное обеспечение. Я не уверен, что ИИ более уязвим на этом фронте, чем другое программное обеспечение, и я склонен думать, что сложность может немного увеличить риск.
Второе, вероятно, лучше всего смягчается как тщательной доработкой системы, как отмечено в некоторых других ответах, так и тем, что она делает систему более контекстно-зависимой; Многие противоборствующие методы основаны на оценке в вакууме.
источник
Программист против Программиста
Это «бесконечная война»: программисты против программистов. Все может быть взломано. Профилактика связана с уровнем знаний профессионала, отвечающего за безопасность, и программистов в области безопасности приложений.
Например, есть несколько способов идентифицировать пользователя, пытающегося испортить показатели, сгенерированные с помощью Sentiment Analysis, но также есть способы обойти эти шаги. Это довольно скучный бой.
Агент против Агента
Интересный момент, который поднял @DukeZhou, - это эволюция этой войны с участием двух искусственных интеллектов (агентов). В этом случае битва является одной из самых знающих. Знаете, какая модель лучше подготовлена?
Тем не менее, для достижения совершенства в вопросе уязвимости искусственный интеллект или искусственный супер-интеллект превосходят возможности обойти человека. Как будто знания о всех взломах по сей день уже существовали в сознании этого агента, и он начал разрабатывать новые способы обхода собственной системы и развития защиты. Сложный, верно?
Я считаю, что трудно иметь ИИ, который думает: «Будет ли человек использовать фотографию вместо того, чтобы идентифицировать свое лицо?»
Как мы можем предотвратить это
Всегда иметь человека, контролирующего машину, и все же она не будет на 100% эффективной. Это игнорирует возможность того, что агент может улучшить свою собственную модель в одиночку.
Вывод
Поэтому я думаю, что сценарий работает следующим образом: программист пытается обойти проверки ИИ, а разработчик ИА, получая знания с помощью журналов и тестов, пытается построить более разумную и безопасную модель, пытаясь уменьшить вероятность неудачи.
источник
Есть несколько работ по проверке AI. Автоматические верификаторы могут доказать свойства надежности нейронных сетей. Это означает, что если вход X NN возмущен не больше, чем при данном пределе ε (в некоторой метрике, например, L2), то NN дает тот же ответ на него.
Такие верификаторы выполняются:
Этот подход может помочь проверить свойства надежности нейронных сетей. Следующим шагом является создание такой нейронной сети, которая требует устойчивости. Некоторые из вышеупомянутых работ содержат также методы, как это сделать.
Существуют различные методы для повышения надежности нейронных сетей:
обучение состязательности (см., например, А. Куракин и др., ICLR 2017 )
защитная перегонка (см., например, Н. Папернот и др., SSP 2016 )
Защита MMSTV ( Модри и др., ICLR 2018 ).
По крайней мере, последний может сделать NN более надежным. Больше литературы можно найти здесь .
источник
Я верю, что ни одна система не является безопасной, однако я не уверен, смогу ли я сказать это после 20-30 лет развития / развития ИИ. В любом случае, есть статьи, которые показывают, что люди обманывают ИИ (Computer Vision)
https://www.theverge.com/2018/1/3/16844842/ai-computer-vision-trick-adversarial-patches-google
https://spectrum.ieee.org/cars-that-think/transportation/sensors/slight-street-sign-modifications-can-fool-machine-learning-algorithms
источник
Переверните ваш вопрос на мгновение и подумайте:
В конце концов, программное обеспечение - это программное обеспечение, и всегда будут ошибки и проблемы безопасности. ИИ подвержены риску всех проблем, которым подвержено программное обеспечение, не относящееся к ИИ, поскольку ИИ не дает ему какой-то иммунитет.
Что касается подделки, связанной с ИИ, ИИ рискует получить ложную информацию. В отличие от большинства программ, функциональность ИИ определяется данными, которые он потребляет.
Например, несколько лет назад Microsoft создала чат-бита AI под названием Tay. Людям Твиттера понадобилось менее 24 часов, чтобы научить их говорить: «Мы собираемся построить стену, а Мексика заплатит за это»:
(Изображение взято из статьи Verge, ссылки на которую приведены ниже, я не претендую на это.)
И это только верхушка айсберга.
Некоторые статьи о Тэй:
А теперь представьте, что это был не чат-бот, представьте, что это была важная часть ИИ из будущего, где ИИ отвечает за такие вещи, как не убийство пассажиров автомобиля (т.е. автомобиля с автоматическим управлением) или не убийство пациента на операционный стол (т.е. какое-то медицинское оборудование).
Конечно, можно было бы надеяться, что такие ИИ будут лучше защищены от таких угроз, но предположим, что кто-то нашел способ накормить такой ИИ массой ложной информации, не будучи замеченным (в конце концов, лучшие хакеры не оставляют следов), что действительно может означать разница между жизнью и смертью.
На примере автомобиля с самостоятельным вождением представьте, что из-за ложных данных автомобиль может подумать, что ему необходимо сделать аварийную остановку на автомагистрали. Одним из применений медицинского ИИ является решение о жизни или смерти в ER, представьте, может ли хакер склонить чашу весов в пользу неправильного решения.
В конечном счете масштаб риска зависит от того, насколько люди зависимы от ИИ. Например, если бы люди принимали решение ИИ и никогда не ставили его под сомнение, они были бы открыты для всех видов манипуляций. Однако, если они используют анализ ИИ как одну из частей головоломки, было бы легче определить, когда ИИ неправ, будь то случайно или злонамеренно.
В случае принятия медицинского решения, не просто верьте ИИ, проводите физические тесты и узнавайте и человеческое мнение. Если два доктора не согласны с ИИ, выкиньте диагноз ИИ.
В случае с автомобилем одна из возможностей состоит в том, чтобы иметь несколько избыточных систем, которые по сути должны «голосовать» за то, что делать. Если в машине было несколько ИИ в разных системах, которые должны голосовать о том, какое действие предпринять, хакер должен был бы взять больше, чем один ИИ, чтобы получить контроль или вызвать патовую ситуацию. Важно отметить, что если ИИ работали в разных системах, то же самое использование, которое использовалось в одной, не могло быть сделано в другой, что еще больше увеличивало рабочую нагрузку хакера.
источник
Я согласен с Акио в том, что ни одна система не является полностью безопасной, но, по-моему, системы ИИ менее подвержены атакам по сравнению со старыми системами из-за способности постоянно совершенствоваться.
С течением времени все больше людей будут приходить в поле, принося новые идеи, и оборудование будет совершенствоваться так, чтобы они стали «сильным ИИ».
источник
Искусственный интеллект уязвим для взлома?
намек; если вы говорите, что ИИ уязвим, то я не согласен с вами здесь с таким утверждением. Искусственный интеллект делится на три категории и фазы, которые мы должны пройти, т.е.
искусственный узкий интеллект
искусственный интеллект
искусственный супер интеллект
Следовательно, согласно вашему утверждению; «Я обеспокоен тем, что злоумышленники могут попытаться взломать ИИ…»
Приведенные примерами в вашем теле сообщения, мы находимся на уровне искусственного узкого интеллекта, где хакер-человек может исказить свой / вредоносный код для вторжения в такие приложения, на этом уровне. Однако, если мы прыгнем прямо на конечный уровень Искусственного разведки; затем, во что бы то ни стало, человек не может ни вторгнуться, ни взломать суперинтеллектуальную программу или высокотехнологичный суперинтеллектуальный агент. Например; человек-хакер, делающий одну вещь за раз, ничто не мешает искусственному интеллекту разделить его фокус и одновременно работать с большим количеством персонала, трудно даже предположить, что ум работает точно так
довожу до вашего сведения
только представьте, что вы живете в новом обществе высоких технологий. Проверьте кибер гранд вызов
Если вы пропустили это событие, то извините.
источник
Интеллект любого типа уязвим для взлома, будь то на основе ДНК или искусственного. Для начала давайте определимся со взломом. В этом контексте взлом - это использование слабых сторон для достижения определенных целей, которые могут включать статус, финансовую выгоду, срыв бизнеса или правительства, информацию, которая может быть использована для вымогательства, верх в деловой сделке или выборах, или в какой-либо другой форме контроля или манипуляции.
Вот примеры стратегий взлома мозга и их общих целей. Каждый из них имеет цифровой системный эквивалент.
Некоторые обеспокоены тем, что называется Сингулярностью, где интеллектуальные программные объекты могут взламывать людей и их социальные структуры для достижения своих собственных целей. То, что люди могут взломать разумных агентов других людей, - еще одна очевидная возможность. Я не думаю, что тренировочные данные - единственная точка атаки.
Возможности, перечисленные в вопросе, заслуживают рассмотрения, но это моя версия списка.
Единственный способ предотвратить это - дождаться события глобального вымирания, но могут быть способы его смягчения. Подобно тому, как сатана программы был написан для поиска уязвимостей в системах UNIX, могут быть разработаны интеллектуальные системы для поиска уязвимостей в других интеллектуальных системах. Конечно, точно так же, как модели программирования и обычные информационные системы могут разрабатываться с учетом безопасности, снижая степень уязвимости до разумно возможной степени с первого дня, системы ИИ могут разрабатываться с учетом этой цели.
Если вы следуете по информационному пути любой системы и рассматриваете способы чтения или записи сигнала в любой точке пути, вы можете превентивно защититься от этих точек доступа. Очевидно, что осторожность при получении данных для использования в целях обучения является ключевой в случае, упомянутом в этом вопросе, и необходимо надлежащее шифрование по информационным путям, а также обеспечение того, чтобы физическому доступу не был предоставлен несанкционированный персонал, но я предвижу битвы между мерами и контрмеры, вытекающие из этих проблем и возможностей.
источник
Есть много способов взломать ИИ. Когда я был ребенком, я думал, как побить шахматный компьютер. Я всегда следовал одной и той же схеме, как только вы узнаете, вы можете использовать ее. Лучший хакер в мире - это 4-летний мальчик, который хочет чего-то, он будет пробовать разные вещи, пока не установит образец в своих родителях. В любом случае, получите Ai, чтобы выучить паттерны AI, и, учитывая заданную комбинацию, вы можете определить результат. В коде также есть просто недостатки или задняя дверь, нарочно или случайно. Также есть вероятность, что ИИ взломает сам себя. Это называется плохим поведением, вспомни маленького ребенка еще раз ...
Кстати, простой способ сделать ИИ всегда безопасным ... то, что люди забывают.
источник