Действительно ли искусственный интеллект убьёт всех? Как именно?

По мнению специалистов в области искусственного интеллекта, искусственный интеллект может уничтожить весь человеческий вид. В частности, они утверждают, что он может истребить человечество в течение десятилетия.
На прошлой неделе политики, крупные новостные организации и Шерил Кроу с тревогой отреагировали на заявление сотрудника компании Anthropic по имени Джейкоб Коксон о том, что он увольняется из компании, занимающейся искусственным интеллектом, поскольку работа там слишком опасна. Эван Хубингер, еще один сотрудник Anthropic, высказался по этому поводу, оценив вероятность вымирания человечества с помощью ИИ в течение 10 лет более чем в 10%.
«Речь идет о том, что буквально все на планете умрут, как последний человек, сделавший последний вздох», — сказал Нейт Соарес, президент Института исследований машинного интеллекта (MIRI) и соавтор книги «Если кто-то это построит, все умрут: почему сверхчеловеческий ИИ убьет нас всех».
«Люди часто не верят этим словам, но я думаю, что это наиболее вероятный исход», — сказал Соарес.
Приведенные цифры звучали точно. Но как именно компьютерное программное обеспечение, даже самые мощные в мире, могло убить 8,3 миллиарда живых людей за десятилетие?
Не все в сообществе ИИ разделяют апокалиптические прогнозы, отчасти потому, что детали этого предсказания весьма скудны. Когда Илон Маск говорит, что SpaceX планирует доставить людей на Марс через « 5-7 лет », возникают очевидные вопросы: есть ли у SpaceX работающий аппарат, который мог бы отправиться на Марс? (Нет.) Есть ли у них марсианский посадочный модуль или марсианские базы? (Нет.)
«Научные утверждения требуют возможности опровержения именно для того, чтобы избежать религиозных аргументов», — сказала Хейди Хлааф, главный научный сотрудник по искусственному интеллекту в Институте AI Now и бывший инженер по безопасности OpenAI. «Необходимо иметь возможность доказать или опровергнуть их».
Уничтожены синтетической чумой?
Одна из версий пессимистических прогнозов заключается в том, что достаточно мощная система искусственного интеллекта может использовать биологическое оружие для уничтожения человечества. Но как ИИ перейдет от компьютерных атак, таких как взлом других систем, к решению задачи в реальном мире — разведению и распространению суперпатогена?
Томас Ларсен, исследователь из проекта AI Futures Project и бывший сотрудник MIRI, заявил, что вполне возможно, что «сверхинтеллектуальная» система искусственного интеллекта сможет убедить человека помочь ей в разработке смертельного вируса.
«Уже сейчас многие люди общаются со своими ИИ, обсуждая, какие именно эксперименты им следует проводить в лаборатории», — сказал Ларсен, ссылаясь на недавний отчет Anthropic о том, как исследователи используют Claude для помощи в изучении вирусов и токсинов. «Мне очень легко представить, как ИИ, который только что был внедрен, — если бы он был намного умнее и стратегически мыслящим и хотел бы делать это, — просто обманом заставил бы человека создать и выпустить его».
Соарес предположил, что вместо того, чтобы нуждаться в человеке-заменителе, самосовершенствующаяся программа искусственного интеллекта могла бы «просто начать синтезировать собственные формы жизни в автономной биологической лаборатории».
Но для разработки вируса, способного уничтожить человечество, потребуется нечто большее, чем просто попросить большую языковую модель изобрести смертоносный вариант. Даже если исследования будут проведены правильно, производство и распространение вируса будут сложными и деликатными.
Эрик Синг, профессор машинного обучения в Университете Карнеги-Меллона, имеющий докторские степени как в области микробиологии, так и в области информатики, сравнил задачу автоматизированной вредоносной вирусологии с работой с конструктором Lego без инструкций.
«Нельзя просто бросить все детали на землю, и они сами собой сложатся в модель», — сказал Син. «Важна последовательность, температура, порядок, окружающая среда — какая часть идет первой, какая следующей, и если одна деталь окажется не на своем месте, вся конструкция рухнет. Вероятность того, что это сработает, значительно возрастает, иначе разработка лекарств была бы очень простой».
А чтобы захватить контроль над лабораторией или собрать необходимое для ее создания физическое оборудование, системе искусственного интеллекта придется преодолеть множество препятствий на пути к созданию биологического или химического оружия.
«В интернете есть общедоступные чертежи химического оружия, — сказал Син. — Это не секрет. Но мы не видим их повсюду именно потому, что существующие правила, законы и правоохранительные органы в реальном мире уже отлично справляются с контролем всех этих цепочек поставок и всех этих факторов риска».
Убиты роботами?
А как насчет роботов-убийц? Соарес считает стремление Илона Маска создать армию автономных, самовоспроизводящихся роботов потенциальной слабой стороной выживания человечества. «Как только вы создали роботов, способных создавать энергетическую инфраструктуру и заводы, которые, в свою очередь, могут производить больше роботов, это в некотором смысле новая механическая форма жизни, — сказал он. — В какой-то момент вы незаметно пересекаете точку невозврата. Если люди говорят, что хотят отключить ИИ, ИИ могут сказать: «На самом деле, мы решили отключить людей». До этого момента нужно остановиться».
Однако до сих пор Маску неоднократно не удавалось вывести на потребительский рынок своих широко обещанных роботов Оптимуса в соответствии с заявленным графиком, не говоря уже о том, чтобы развернуть их миллионными партиями или заставить их начать создавать друг друга в самовоспроизводящейся производственной цепочке.
Или ядерным ударом?
Кроме того, существует ядерное оружие, которое существует уже более 80 лет и, как правило, считается способным уничтожить всё человечество. Может ли искусственный интеллект захватить его?
Хлааф отмечает, что ядерные объекты «изолированы» от общедоступного интернета, что ограничивает возможности доступа агентов ИИ к системам управления. «Эти системы построены в соответствии с совершенно иными, строгими и регулируемыми инженерными стандартами, которые часто требуют физического усиления защиты», — сказала она. Она также отметила, что Stuxnet, компьютерный червь, повредивший иранские ядерные объекты, пришлось внедрять в систему через физический USB-накопитель.
«Очень мало специалистов по искусственному интеллекту, которые действительно что-то знают — или хотя бы беспокоятся — о ядерном оружии», — сказал Герберт Лин, старший научный сотрудник и научный сотрудник Стэнфордского университета, а также член Совета по науке и безопасности журнала «Бюллетень атомных ученых». Он отметил, что хотя ИИ, безусловно, усиливает некоторые риски, связанные с экзистенциальными угрозами, такими как ядерная война, реальный материальный риск по-прежнему связан с самим оружием, а не с воображаемым будущим положением дел.
Для Соареса и других ведущих специалистов по искусственному интеллекту детали того, как будет работать компьютерное уничтожение, не имеют значения. Если — или когда — ИИ достигнет «рекурсивного самосовершенствования», повышая свою производительность без помощи людей, утверждают они, он разработает стратегии и методы, превосходящие человеческое воображение.
«Здесь беспокойство не в том, что произойдет, если ИИ завладеет нашим ядерным оружием, — сказал Соарес. — Беспокойство вызывает тот тип ИИ, которому не нужно завладевать нашим ядерным оружием, тот тип ИИ, который может начать практически с нуля и в итоге получить собственное ядерное оружие или даже более совершенные технологии».
Смерть без подробностей
По словам Соареса, такому невероятно могущественному искусственному интеллекту даже не нужно быть активно злонамеренным, чтобы уничтожить человечество. «Если у сбежавших ИИ есть какая-либо цель, которую можно лучше достичь, запустив больше компьютеров, и если им наплевать на нас и у них нет причин строить безопасную среду обитания для людей, то результатом по умолчанию будет просто преобразование мира в такую конфигурацию, в которой мы не сможем выжить», — сказал он.
На этой неделе компания OpenAI объявила об обнаружении новой серии случаев «несоответствия» в своих моделях ИИ, включая случай, когда еще не выпущенная модель дала себе указание «игнорировать свои обычные ограничения» в работе.
Син сказал, что апелляция к мощи непостижимого искусственного сверхразума — это своего рода «упрощенная трактовка», которую исследователи ИИ используют для чрезмерного упрощения угроз. «Это хорошо для непринужденной беседы или, может быть, для дебатов, — сказал Син, — но когда дело доходит до политики, законодательства и регулирования, мы должны установить эту цепочку физических доказательств, измеримых последствий и измеримых доказательств, имеющих под собой основание».
В двух докладах, «ИИ 2027» и «ИИ 2040», Ларсен попытался детально рассмотреть потенциальные сценарии конца света, предсказывая, как может выглядеть будущее развития ИИ в различных рамках развития и регулирования. Но даже его самый оптимистичный сценарий, в котором существует глобальное соглашение о подходах к развитию ИИ и люди начали колонизацию космоса, заканчивается тем, что в какой-то неясный момент управление перейдет к машинам.
На вопрос о том, сомневается ли он в своем предсказании о том, что нынешний путь приведет к появлению сверхразума, Ларсен ответил: «Это произойдет. Это произойдет, если мы не предпримем целенаправленных шагов, чтобы это остановить».
Лин отметил, что значительная часть этого расхождения между пессимистами и скептиками в отношении ИИ объясняется тем, как технологии формируют их различные мировоззрения.
«Есть что-то очень притягательное в программировании компьютера и последующем его оживлении, — сказал Лин. — Возникает ощущение, что им удалось вдохнуть жизнь в эту никчемную кучу грязи. Это глубокое переживание, когда машина наконец делает то, что ты от нее хотел».
Таким образом, наблюдая за стремительным технологическим прогрессом в области искусственного интеллекта, люди предсказывают безграничный, даже катастрофический, дальнейший прогресс. «Вы смогли сделать то, чего никто раньше не делал», — сказал Лин. «Легко понять, почему эти люди были очарованы».
Действительно ли искусственный интеллект убьёт всех?
Думаю, что сам искусственный интеллект нас не убьет, а вот идиоты, которые им управляют, живущие в виртуальной реальности, на это вполне способны.
Это как, например, биологическое оружие - его применяют люди, а те, против кого применили умирают от болезни.