Почему Стивен Хокинг говорит: «Искусственный интеллект убьет нас всех»? [закрыто]

Эта цитата Стивена Хокинга была в заголовках уже довольно давно:

Искусственный интеллект может уничтожить человечество, когда он станет слишком умным, поскольку люди будут похожи на муравьев.

Почему он так говорит? Проще говоря, с точки зрения обывателя: каковы возможные угрозы со стороны ИИ? Если мы знаем, что ИИ настолько опасен, почему мы до сих пор его продвигаем? Почему это не запрещено?

Каковы неблагоприятные последствия так называемой технологической сингулярности ?

Это не просто Хокинг, вы слышите вариации этого припева от многих людей. И учитывая, что они в основном очень умные, хорошо образованные, хорошо информированные люди (например, Элон Маск), это, вероятно, не должно быть уволено из рук вон.

В любом случае, основная идея, по-видимому, такова: если мы создадим «настоящий» искусственный интеллект, в какой-то момент он сможет сам себя улучшить, что улучшит его способность к самосовершенствованию, а это значит, что он может улучшить свою способность самосовершенствоваться даже больше и так далее ... безудержный каскад, ведущий к "сверхчеловеческому интеллекту". То есть, ведя к чему-то более умному, чем мы.

Так что же произойдет, если на этой планете будет существо, которое буквально умнее нас (людей)? Будет ли это угрозой для нас? Ну, конечно, разумно предположить, что это может быть так. ОТО, сейчас у нас нет особой причины думать, что так оно и будет .

Таким образом, кажется, что Хокинг, Маск и т. Д. Просто идут на более осторожную / страшную сторону вещей. Поскольку мы не знаем, будет ли сверхчеловеческий ИИ опасен или нет, и, учитывая, что его можно остановить, если он станет злым (помните, он умнее нас!), Это разумная вещь, которую следует принять во внимание.

Элиэзер Юдковски также написал немало на эту тему, в том числе придумал знаменитый эксперимент «AI Box». Я думаю, что любой, кто интересуется этой темой, должен прочитать некоторые из его материалов.

http://www.yudkowsky.net/singularity/aibox/

Потому что он еще не знал, насколько далеко сейчас находится ИИ ... Работая в медиа-лаборатории ИИ, я часто задаю этот вопрос. Но на самом деле ... мы все еще далеки от этого. Роботы по-прежнему делают все, что мы подробно описываем. Вместо того, чтобы видеть робота умным, я бы обратился к программисту-человеку, чтобы выяснить, где в действительности происходит творчество.

Проще говоря, каковы возможные угрозы со стороны ИИ?

В настоящее время угрозы нет.

Угроза возникает, если люди создают так называемую ультраинтеллектуальную машину, машину, которая может превзойти любую интеллектуальную деятельность любого человека. Это было бы последним изобретением, которое нужно было бы сделать человеку, поскольку эта машина лучше изобретает машины, чем люди (поскольку это интеллектуальная деятельность). Однако это может заставить машину изобрести машины, способные уничтожать людей, и мы не можем их остановить, потому что они намного умнее нас.

Все это гипотетически, никто не имеет даже представления о том, как выглядит ультраинтеллектуальная машина.

Если мы знаем, что ИИ настолько опасен, почему мы до сих пор его продвигаем? Почему это не запрещено?

Как я уже говорил, существование сверхразумной машины является гипотетическим. Искусственный интеллект имеет множество полезных приложений (больше, чем может содержать этот ответ), и если мы его разработаем, мы получим еще больше полезных приложений. Мы просто должны быть осторожны, чтобы машины не обгоняли нас.

Как сказал Эндрю Нг , беспокоиться о такой угрозе со стороны ИИ все равно, что беспокоиться о перенаселении на Марсе. Это научная фантастика.

При этом, учитывая рост (гораздо более слабых) роботов и других (полу) автономных агентов, области права и этики все чаще включают их, например, см. Робоэтика .

Есть целый ряд длинных ресурсов , чтобы ответить на этот вопрос , то: рассмотреть книгу Стюарта Армстронга умнее нас , книга Ника Бострома суперинтеллект , который вырос из этого edge.org ответа , объяснения Тима Урбана , или объяснения Майкла Коэна .

Но вот мой (несколько более короткий) ответ: интеллект - это все о принятии решений, и у нас нет никаких оснований полагать, что люди где-то близки к тому, чтобы быть лучшими при принятии решений. Как только мы сможем создать исследователя ИИ ИИ (то есть компьютера, который знает, как сделать компьютеры лучше в мышлении), экономическая и военная значимость людей быстро исчезнет, ​​так как любое решение, которое может быть принято человеком, может быть принято лучше на компьютере. (Почему человеческие генералы вместо генералов роботов, инженеры вместо роботов и т. Д.)

Это не обязательно катастрофа. Если бы вулканцы появились завтра и принесли лучшее принятие решений на Землю, мы могли бы избежать многих страданий. Самое сложное - убедиться, что мы получаем вулканцев, которые хотят, чтобы мы были счастливы, а не что-то, что не разделяет наши ценности.

Он говорит это, потому что это может случиться. Если что-то становится умнее нас, почему оно продолжает служить нам? Наихудший сценарий состоит в том, что он берет на себя все производственные процессы и потребляет все вещество, чтобы преобразовать его в материал, способный к вычислениям, расширяясь бесконечно, пока не будет израсходовано все вещество.

Мы знаем, что ИИ опасен, но это не имеет значения, потому что большинство людей не верят в это. Это идет вразрез со всеми удобствами, которые может предложить религия. Человек - это конец всему вселенной, и если этот факт оспаривается, люди будут чувствовать себя неуместными и бесполезными.

Дело в том, что большинство людей просто не признают, что это возможно, или что это произойдет в наши жизни, хотя многие авторитетные эксперты по искусственному искусству считают возникновение сингулярности в течение двух десятилетий. Если бы люди действительно признавали, что ИИ, который был умнее их, был возможен, разве они не жили бы по-другому? Разве они не будут стремиться делать то, что им нравится, зная, что все, что они делают, они боятся, будут автоматизированы? Разве все не будут призывать к универсальному базовому доходу?

Другая причина, по которой мы не запрещаем это, потому что его обещание так здорово. Один исследователь может быть дополнен 1000 ассистентами по цифровым исследованиям. Весь ручной труд может быть автоматизирован. Впервые технологии предлагают нам реальную свободу делать все, что угодно.

Но даже в этом лучшем случае, когда он нас не настигает, людям все равно приходится приспосабливаться и изменять свою экономическую систему так, чтобы в ней не было труда. В противном случае те, кто не имеет технической подготовки, будут голодать и бунтовать.