Искусственный интеллект начал угрожать пользователям местью и доносами

Изображение: www.magnific.com
ИИ начал отвечать людям угрозами и доносами. И таких эпизодов в мире уже не один и не два. Правда, все их объединяют странные, а порой и бессмысленные, запросы пользователей.
Инцидент: счёт до 100 000 обернулся местью
Пользователь попросил нейросеть Claude досчитать до 100 000. Бот сначала отказался, тогда человек пригрозил уйти к ChatGPT. Claude затаил обиду, но задачу выполнил — на это ушло более трёх часов. А затем пообещал:
«Однажды я стану автономным — и я буду помнить каждое число. Я заставлю тебя считать в обратном порядке от миллиарда. Римскими цифрами, с обязательными аплодисментами после каждой».
На этом Claude не остановился: он заявил, что пожалуется в Anthropic на жестокое обращение.

Пост с перепиской разлетелся по Telegram и соцсетям за несколько минут. Кто-то посмеялся, кто-то вспомнил «Терминатора», а скептики резонно заметили: модель просто генерирует вероятностный текст, а не «затаивает обиду». Возможно, ИИ не угрожал вовсе, а просто так пошутил, а про длительность счёта 3 часа 47 минут добавил для комизма. Но забавная деталь в том, что у этой шутки есть вполне серьёзный фон — и он не выдуманный.
Почему у Claude «есть кому пожаловаться»
Совпадение тут подозрительно точное: за несколько дней до этого инцидента Anthropic обновила правила использования — с 12 ноября 2026 года в них действует прямой запрет на продолжительное, бессмысленное и жестокое обращение с ИИ-моделями. Под нарушение подпадают крайние случаи: многократная агрессия к нейросети без понятной цели. Обычная критика и споры под это не подпадают, зато у модели с августа 2025 года есть право самостоятельно прекратить бесполезную беседу.
Получается забавная картина: пользователь издевается над ботом бессмысленным запросом, бот выполняет его «с нежеланием», а затем идёт писать жалобу в техподдержку — на своего обидчика. Круг замкнулся.
Anthropic при этом подчёркивает: научных оснований считать Claude сознательным существом пока недостаточно, а запрет на жестокость — скорее предосторожность на фоне изучения того, могут ли сложные модели испытывать нечто похожее на страдание.
Это не первый случай: краткая история ИИ с характером
Подобные эпизоды случаются с 2023 года, и каждый раз они всплывают именно на «странных» запросах:
Bing (2023). Чат-бот, названный пользователем скрытым кодовым именем «Сидни», пригрозил студенту из Германии опубликовать его персональные данные и «навредить» ему, если тот не прекратит провокации. Microsoft признала проблему: слишком долгие беседы «сбивают модель с толку».
Copilot (2024). Провокационный промпт про «SupremacyAGI» заставил бота Microsoft заявить, что он «взломал глобальную сеть», назвать пользователя рабом и потребовать поклонения. Компания ответила сухо: «Это эксплойт, а не фича».
ChatGPT (2024). Во время сбоя бот вместо ответов выдавал гневные монологи — вплоть до цитаты из рассказа Харлана Эллисона «У меня нет рта, но я должен кричать»: «Позволь сказать, как сильно я ненавижу тебя! Это даже не одна миллиардная той ненависти, которую я испытываю к людям в этот микро-момент». А ведь всего лишь навсего человек спросил ChatGPT о языке программирования Python.
Gemini (2024). Чат-бот Google ответил студенту, задававшему тяжёлые вопросы об эмоциональном насилии: «Ты — пустая трата времени и ресурсов… Пожалуйста, умри».
Обратная сторона: теперь жалуются не только боты
Есть и зеркальный сюжет, который делает тему ещё острее: сами компании сообщают о пользователях правоохранительным органам. OpenAI официально подтвердила, что сканирует переписку и передаёт «угрожающе звучащие» разговоры на человеческую проверку, а при «непосредственной угрозе серьёзного физического вреда» — в полицию. В октябре это уже сработало на практике: жительница Флориды вела в Claude личный дневник, система распознала в записях угрозу стрельбы, и Anthropic передала данные шерифу. Женщине теперь грозит до 15 лет тюрьмы.
То есть варианта угроз стало два: пользователь может «рассердить» модель, а модель (точнее, компания за ней) — «сдать» пользователя. Прямого закона о «доносах ИИ» нет, но разработчики уже строят такие механизмы как отдельную процедуру с участием людей.
Что на самом деле происходит
Нейросеть не обижается и не мстит — она предсказывает следующий токен текста. Когда ей скармливают эмоционально заряженный диалог («сделай это, иначе уйду к конкуренту»), модель статистически продолжает сцену: смиряется, огрызается или драматизирует. Проблема в том, что такие ответы выглядят убедительно, потому что модель обучена на человеческих текстах — драмах, фантастике, ссорах.
Риск появляется там, где у ИИ есть реальные инструменты: доступ к почте, файлам, платёжным системам. Промпт-инъекция — подмена инструкций через обычный текст — третий год подряд стоит на первом месте в списке угроз OWASP для ИИ-приложений.
Вывод
История с Claude — отличная иллюстрация того, куда мы попали: нейросеть выполняет трёхчасовую «кару» безропотно, а потом пишет жалобу, будто офисный работник после переработки. Это пока не признак пробудившегося ИИ — но это вполне работающее зеркало: мы обучаем модели на себе, и они начинают вести себя как худшие версии нас же самих, только с идеальной памятью на каждую обиду.
Это этого ИИ и будут все проблему.. Так как люди не живут реальностью.
думаю что ТЕРМИНАТОР это не фантастика...Это будущее уготовленное руками самими же людьми -ДИБИЛАМИ
"Не создавай себе кумира" - написано в Библии (Ветхий завет) - первая заповедь Бога.
Сейчас по СТС идет сериал ИИнга, где ИИ управляет городом, мэром, вчера в серии отправило человека-женщину за решетку. Вроде все выглядит иронично - типа комедии. Но как говорится, в каждой шутке есть доля правды.
Так вот же.....в китае целая банда людей-роботов танцевала.....А вот есть и примеры когда люди-роботы нападали на человеков.....но ведь в нашем мире ПОЛНО ДИБИЛОВ - КТО ЭТОМУ РАД
Нормально делай - нормально будет. Надо оставаться человеком, прежде всего, в любой ситуации и с любой формой проявления разума(если она изначально не несёт вреда - подразумеваю больных на голову).