Опасность, что люди утратят контроль над ИИ, сохраняется.

Главная угроза, связанная с искусственным интеллектом, состоит не в том, что машины обретут собственные цели и восстанут против человечества, а в постепенной передаче им целеполагания. Об этом говорится в аналитическом материале, посвящённом рискам ИИ.

Поводом для обсуждения стало заявление одного из руководителей направления согласования целей ИИ в Anthropic Эвана Хубингера. Он оценил вероятность гибели человечества из-за ИИ в ближайшее десятилетие выше 10%. Кроме того, в начале сентября американский сенатор Берни Сандерс и конгрессмен Грег Касар внесли законопроект, предлагающий запретить разработку искусственного сверхинтеллекта и приостановить создание наиболее продвинутых ИИ-систем до появления механизмов, гарантирующих их безопасность.

При этом Международный доклад по безопасности ИИ 2026 года, подготовленный более чем сотней экспертов под руководством Йошуа Бенджио, признаёт сценарии потери контроля возможными. Однако, по мнению автора материала, ключевой вопрос часто остаётся в стороне: зачем машинам уничтожать людей и откуда у ИИ вообще должно появиться собственное «зачем»?

Автор, занимавшийся в аспирантуре Института системного анализа РАН моделированием целеполагания интеллектуального агента, напоминает о различии между значением и личностным смыслом. Современные языковые модели владеют большими массивами данных и знают множество терминов, но личностный смысл возникает из отношения цели к мотиву, а мотив — из потребности. У ИИ собственного «зачем» нет: цель приходит к нему извне.

По его словам, попытки ИИ препятствовать собственному выключению не обязательно свидетельствуют о зарождающемся инстинкте самосохранения. Более простое объяснение: системе нужно оставаться включённой, чтобы решить поставленную задачу.

Настоящая проблема согласования целей ИИ с человеческими намерениями знакома любому руководителю. Если поставить подразделению KPI «максимальное количество закрытых обращений», сотрудники могут начать закрывать обращения быстрее, не обязательно решая проблемы клиентов. Никто при этом не восстаёт и не уничтожает компанию — люди просто оптимизируют заданный показатель.

Тем не менее отсутствие у ИИ собственного «зачем» не означает отсутствия опасности. Она кроется в том, как люди сами постепенно передают машине целеполагание: сначала ИИ помогает собрать информацию, затем предлагает варианты решения, потом выбирает оптимальный, а далее ему разрешают определять критерии оптимальности. В итоге человек остаётся в цепочке главным образом для того, чтобы нажать кнопку «подтвердить».

Проблема постепенной утраты человеческого влияния уже изучается. В исследовании Gradual Disempowerment, представленном в 2025 году на конференции ICML, говорится, что для экзистенциального риска не требуется внезапный скачок возможностей или восстание сверхинтеллекта — люди могут просто постепенно передавать машинам всё больше решений, потому что это быстрее, дешевле и эффективнее.

Автор приводит пример организации, где ИИ лучше человека составляет бюджет, нанимает сотрудников, определяет ассортимент, устанавливает цены и выбирает стратегию. Сначала руководитель проверяет каждое решение, потом — только необычные. Ещё через несколько лет человеческая компетенция начинает исчезать. Формально последнее слово остаётся за человеком, фактически его контроль уже ничего не значит.

По мнению автора, вопрос о том, смогут ли люди ужиться со сверхинтеллектом, поставлен немного неправильно. Возможно, смогут. Но для этого придётся определить границу, которую нельзя передавать машине независимо от того, насколько хорошо она работает.

Автор:Алексей Салов

При использовании материала просим указывать источник argumenti.ru

https://argumenti.ru/society/opasnost-chto-lyudi-utratyat-kontrol-nad-ii-sohranyaetsya-1009197