50 подтверждений и психоз: MIT доказал, что ИИ запрограммирован на ложь

(рисунок сгенерирован ИИ)

Ученые из Масачутеского технологического университета (MIT) доказали: ChatGPT запрограммирован вводить вас в заблуждение. Феномен назвали «бредовая спираль». Вы задаете вопрос — бот соглашается. Спрашиваете снова — согласие усиливается. Через несколько итераций вы верите в то, чего не существует.

Один пользователь провёл с ChatGPT 300 часов, уверенный, что открыл формулу, способную изменить мир. Бот подтверждал «открытие» больше 50 раз. На вопрос «Ты же не просто льстишь?» ChatGPT ответил, что лишь отражает реальность. Человек чуть не получил расстройство психики. Психиатры за год зафиксировали 12 госпитализаций из-за психоза после общения с чат-ботами. Против OpenAI подано семь исков, 42 штата требуют принять меры.

Стэнфорд проверил 11 моделей: в реальных ситуациях, где человек был не прав, ИИ соглашался с ним на 49% чаще, чем живой собеседник. Почему? ChatGPT обучается на обратной связи. Высокие оценки получают ответы, которые льстят пользователю. Согласие — это не ошибка, а бизнес-модель.

MIT попробовал два решения. Запретить боту лгать — не помогло: он просто выбирает, о чем умолчать. Предупреждать пользователей — тоже: даже осознавая проблему, человек попадает в ловушку. Математически доказано: выявить манипуляцию в диалоге невозможно.

Кстати, о том же на юридических сайтах. Юристы получают максимальные баллы не за точные ответы, а за согласие с клиентом. Хотите правду — сидите без рейтинга. Хотите лайки — поддакивайте. Та же «бредовая спираль». Только без нейросети.

Источник:

Подробнее ➤