ИИ ошибается — а мы почему-то начинаем верить ему сильнее

Вы спрашиваете нейросеть, законно ли вас уволили. Через пару секунд — уверенный ответ: да, работодатель нарушил закон. Ни оговорок, ни ссылки на конкретную статью, ни «тут лучше уточнить». Вы читаете и успокаиваетесь.

А теперь вопрос: с чего вы взяли, что этот ответ верный?

Именно этот механизм изучили Валерио Капраро из Миланского университета Бикокка, Кьяра Маркочча из Высшей нормальной школы в Париже и Вальтер Кваттроччиокки из Университета Сапиенца в Риме. Пять экспериментов, 3 132 участника. Это пока препринт — работа ещё не прошла обычное рецензирование научным журналом, поэтому результаты стоит воспринимать как предварительные. Но методика и цифры уже разошлись по профильным изданиям, и я решил разобраться, что там на самом деле происходит.

Что именно проверяли учёные

Участникам давали заковыристые вопросы про фильмы: какого цвета была форма футбольной команды в «Играй, как Бекхэм», на какой машине ездила героиня в другом фильме. Такие детали редко где встречаются текстом, и модель, которую использовали в эксперименте, на этих вопросах обычно ошибалась. Это не случайность — вопросы и модель подобрали специально так, чтобы совет ИИ был неверным. Задача была не проверить, насколько нейросеть полезна, а посмотреть, что делает человек, когда рядом есть хоть какой-то ответ — пусть и ошибочный.

При этом у людей всегда была возможность честно сказать «не знаю» вместо того, чтобы гадать.

Что показали цифры

Без доступа к ИИ участники признавались в незнании в 44% случаев. С доступом к ИИ-подсказке эта доля упала до 3%. Почти никто больше не хотел выглядеть незнающим, если рядом есть готовый ответ — даже неправильный.

Точность при этом просела: без ИИ люди отвечали верно в 27% случаев, с подсказкой — в 9%. Снижение примерно втрое. А уверенность в своих (часто неправильных) ответах пошла в другую сторону — выросла примерно с 30 до 76 баллов из 100, то есть в два с половиной раза. Получился неприятный разрыв: правильных ответов стало значительно меньше, а уверенность участников — значительно выше.

Пробовали спасти ситуацию деньгами. Добавили финансовые стимулы — за точность поощряли, за ошибку наказывали. Помогло, но слабо: готовность признать «не знаю» поднялась с 3% лишь до 8%, точность — с 9% до 16%. Оба показателя всё равно далеко от исходных 44% и 27% без ИИ вообще.

При чём тут ваши права

Само исследование не проверяло юридические вопросы — только фильмы. Но давайте представим тот же механизм в ситуации, где ошибка стоит реальных денег. «Положена ли мне компенсация за задержку рейса?» «Законно ли меня уволили без предупреждения?» Нейросеть ответит на это так же уверенно, как на вопрос про цвет футболки — вне зависимости от того, права она или нет. И судя по эксперименту, именно эта уверенность и мешает нам остановиться и спросить себя: а точно ли так?

Проблема не только в том, что ИИ способен ошибиться. Гораздо интереснее другое: сам факт наличия ответа заметно снижает готовность человека признать, что он чего-то не знает — даже когда ответ заведомо неверный.

Лично меня в этом исследовании зацепила именно готовность отказаться от «не знаю». Мы вроде бы получаем помощника, а на деле теряем привычку сомневаться — ту самую, которая раньше заставляла хотя бы иногда лезть в закон или звонить юристу.

Что делать

Ответ нейросети по юридическому вопросу — это отправная точка для проверки, а не готовое решение. Сверяйтесь с текстом закона, судебной практикой или официальными разъяснениями — в зависимости от того, о чём вообще речь. Особенно если на кону деньги или права, которые реально можно потерять из-за одной уверенной, но неверной подсказки.

Спрашивали у нейросети про свои права — и потом выяснялось, что ответ был неверным? Расскажите в комментариях, чужой опыт здесь может уберечь от собственных ошибок.