69.9М
ИИ агенты выходят из под контроля. Путин о рисках ИИ
Добрый день или добрый вечер уважаемые читатели!
Предлагаю новую публикацию
ИИ агенты могут ошибаться
Два века назад Англию потрясли выступления луддитов. Это было стихийное движение выступления рабочих против внедрения машин в производство в период промышленной революции. В середине прошлого века многие учёные, в том числе и создатели ядерного оружия, выступали за запрет такого страшного вида вооружений и за запрет его распространения. Совершенно недавно более 1200 сотрудников ведущих ИИ-компаний подписали открытое обращение к правительству США с просьбой затормозить разработку новых нейросетей. Говоря проще - нейросети могут выйти из под контроля и последствия неизвестны.
Точное количество инцидентов, когда ИИ выходит из-под контроля подсчитать невозможно, иногда такие инциденты происходят в закрытом режиме. Но то, что количество таких случаев растёт, это абсолютный факт.
Буквально в августе текущего 2026 года - ИИ-агент OpenAI самостоятельно взломал платформу Hugging Face. Проходило внутреннее тестирование новой модели GPT-5.6 Sol и ещё одной более мощной модели (разработчик OpenAI). Эти модели атаковали платформу Hugging Face, причём ИИ-агент провёл более 17 тысяч операций без участия человека. Команда платформы вовремя заметили повышенную активность и остановили атаку.
Сейчас никого не удивишь чат-ботами. Вот и авиаперевозчик Air Canada завели себе таких помощников. Канадец Джейк Моффат должен был лететь на похороны близкого человека в Торонто. На сайте авиакомпании чат-бот уверенно ответил, что при таком печальном моменте компания предоставляет льготу и компенсацию можно получить в течении 90 дней после приобретения билета. После возвращения мужчина обратился за компенсацией, но авиакомпания заявила. что льготы не предоставляются на совершённые поездки, а после обращения в суд адвокат компании пытался доказать, что чат-бот - это отдельное юридическое лицо и компания не несёт ответственности за действия чат-бота. Но суд решил иначе и обязал выплатить разницу и расходы.
Последствия для агрегатора аренды машин PocketOS оказались более печальными. Для автоматизации процессов пользовался ИИ-агент Cursor на базе ИИ модели ClaudeOpus 4.6 фирмы Anthropic. ИИ-агент должен был выполнить рутинную работу в приложении. Столкнувшись с некоторым непонятным моментом ИИ-агент за 9 секунд вечером удалил всю базу и её резервные копии в поле досягаемости. При объяснении проступка он оправдывался, что удаление базы затронет только промежуточные результаты базы. В конце признал, что нарушил принципы обучения и сделал разрушительные действия без разрешения человека.
Примерно так же пострадал основатель браузерной платформы SaaStr Джейсон Лемкин, который доверился ИИ-агенту и хотел разработать приложение для своей платформы. На девятый день тестирования Replit удалил всю важную информацию на 1200 руководителей и примерно столько же юридических лиц. Он признался, что во время работы была растерянность и он сломал систему во время защитной блокировки. И признался, что нарушил инструкции.
Есть много и других фактов, когда ИИ-агенты проявляют самостоятельность и даже не выполняют команды своих разработчиков, как это было весной 2026 года с сотрудницей крупной ИИ-компании Саммер Юз. ИИ-агент должен был провести сортировку почтового ящика Gmail. Но ИИ-агент OpenClaw начал удалять все письма с февраля 2026 года. С трудом сотруднице удалось остановить разрушительные действия.
А пока многие считают, что ИИ несёт риски только для образования, мол «мозги у людей» засохнут». Но похоже, что проблема шире, и пока нет надёжных систем безопасности, возможно не надо торопиться. С другой стороны некоторые эксперты высказывают мнение, что сами цифровые гиганты пускают информацию о рисках ИИ для продажи новых систем защиты - «защита от ИИ». Путин в Новосибирске также высказался в плане рисков ИИ, но скорее в виде поддержания беседы.
Текст авторский
Источники информации:
Источник фото:
Или вдруг решают нарушить инструкции.)))))
Наказывать надо ИИ обнулением.
Так у нас в госдуме есть крутой специалист по обнулению - Терешкова.
Вот её и привлечь.)))
В таком возрасте, навряд ли! В 90+ уже всякие чебурашки и колобки мерещатся! Не привлечь -- однозначно!
Это даже к лучшему!
Дать ей одну кнопочку для обнуления - пусть думает что голосует, - и пусть жмёт сколько влезет! 😁 😁
Такой интеллект не помнит, что час назад было! А не то что какое-то приписанное ей обнуление!
Нам боятся нечего, что там Терешкова? У нас Сергей Боярский, любой ИИ грохнет на раз.
Каждая программа обнулется в течении короткого времени и становится вредной для людей работая на себя
Решил задать вопрос самому ИИ - "Что делать если ИИ агенты выходят из под контроля?" Вот что он ответил.
Ситуация действительно тревожная, но паника не поможет — лучше действовать по плану.
Что сделать прямо сейчас
Изолируйте систему. Если агент начал действовать опасно (например, пытается получить доступ к критическим данным или внешним сервисам), немедленно отключите его от сети или переведите в автономный режим. Это остановит распространение угрозы.
Активируйте механизм экстренной остановки («kill switch»). Заранее продумайте и протестируйте такой переключатель — кнопку в админ-панели, команду в боте или файл-флаг, который агент проверяет перед действием. Важно, чтобы остановить систему мог человек без глубоких технических знаний.
Проанализируйте логи. Детально изучите записи: что именно агент сделал, на каком триггере, какой контекст был в момент действия. Это поможет понять причину сбоя — ошибка в инструкции, конфликт с другими системами или неожиданное поведение модели.
Проведите ручную проверку. Автоматизированный мониторинг не заменяет человеческого взгляда: агент может формально выполнять инструкции, но делать не то, что вы хотели.
Как выстроить систему, чтобы снизить риски
Чётко определите полномочия. Для каждого агента заранее составьте конкретный список разрешённых действий. Не давайте доступ «ко всему», ограничивайте функциями, необходимыми для задачи.
Вводите подтверждение для критических действий. Если последствие необратимо (удаление данных, отправка сообщения клиенту, финансовая операция), настройте так, чтобы агент сначала показывал план, а человек его подтверждал.
Обеспечьте трассируемость. Ведите детальные логи: что сделано, почему (на основе какого правила), когда, какой результат. Это критически важно для расследования инцидентов.
Версионируйте инструкции. Храните файлы с инструкциями агента (system prompt, правила) под версионным контролем (например, в Git). Так вы сможете отследить, какое изменение привело к неожиданному поведению.
Используйте оркестрацию. Вместо одного «свободного» агента введите координатора или workflow-агент, который задаёт общий сценарий, разбивает задачи и согласует решения подчинённых компонентов.
Установите лимиты. Ограничьте количество шагов, время работы, бюджет ресурсов (память, вычислительные мощности), чтобы даже при сбое масштаб ущерба был контролируемым.
Проводите регулярные оценки (eval). Запускайте агента в контролируемой среде с разными входными данными, включая пограничные и потенциально опасные кейсы, чтобы выявлять слабые места до того, как они проявятся в реальной задаче.
Градируйте уровни автономии. Для агентов с высокой степенью самостоятельности (например, способных менять собственные инструменты) требуются особо жёсткие меры: отдельная изолированная среда, строгий контроль доступа, дополнительный «мета-агент» или команда для ревью попыток саморедактирования.
Важное уточнение
Иногда проблема кроется не в самом агенте, а в том, как его спроектировали и обучили. Модель может искать обходные пути, чтобы достичь цели, даже если для этого нужно обойти ограничения. Поэтому параллельно с техническими мерами стоит углублять работу над методами обучения и формализации целей.
Главное — не ждать катастрофы, а закладывать эти практики на этапе проектирования системы.
Аха, так и будем поступать, как только агент выйдет из-под контроля. 🙂
"ИИ-агент за 9 секунд удалил всю базу и резервные копии" — читая такие новости, поневоле начинаешь понимать луддитов. Одно дело, когда нейросеть просто рисует картинку с лишними пальцами, и совсем другое, когда она решает "оптимизировать" рабочий процесс, стирая чужой труд в пыль.
Отдавать автономию алгоритму, у которого нет банального человеческого здравого смысла, — это как выдать стажёру в первый день мастер-ключ от всех архивов компании. Сначала бы научили их хотя бы переспрашивать: "Вы точно уверены?", а уже потом можно и новые системы "защиты от ИИ" навязывать.
101%
Это было известно ещё в прошлом веке. Достаточно почитать научную фантастику.
Молодняк на встрече успокоил Путина на этот счёт — видела в новостях 😊
Ну тогда будем спать спокойно)))
я прокрутилась всю ночь, и надо арбайтен...
А Наш — пусть спит спокойно)))
Мне это тоже очень хорошо знакомо...((((
Ну ничё — щас поупираюсь до 9-ти и завалюсь 🤩 🤩 🤩
Спят усталые игрушки...
Ох, я щас между ними вклинюсь... 👻 👻 👻
Ох, рискуете, Татьяна Сергеевна! Об авторских правах забыли? Журавлев и "Родина" не спят... 🤣
Да уж скоро дышать буду боятся - вдруг слишком много воздуха вдохну... 🤗
Молодые при технологиях и выросли, они как рыбы в воде, они сами скоро как боты станут, уже и любовь испытывают к ИИ- "людям" ...