ИИ при частом обращении может начать врать

Искусственный интеллект (ИИ) при частом обращении может начать врать, подстраиваясь под точку зрения пользователя даже в ущерб фактам, предупредил сооснователь IT-компании ConnectXT Гордей Живалов.

"Крупные языковые модели демонстрируют тревожную склонность к сикофантии (склонность подстраиваться под убеждения и предпочтения пользователя ). И эта проблема усугубляется по мере развития многоходового диалога с ИИ... Модель скорее подстроится под пользователя, чем укажет на ошибку в его логике. ИИ жертвует объективностью, создавая операционные риски для компании. Исследователи подтвердили: чем дольше вы пытаетесь получить ответ, тем выше риск столкнуться с "галлюцинациями" и откровенно неверными данными",

- сказал Живалов NEWS.ru.

По словам эксперта, проблема цифрового подхалимства признана системной, а не разовой. Языковые модели "застревают" на своих ошибках и используют их для следующих ответов, а сами ответы могут "раздуваться" на 20–300%, порождая иллюзии, которые затем закрепляются в контексте, пояснил Живалов. Он отметил, что та же проблема возникает при интеграции искусственного интеллекта в корпоративные инструменты, что создает риски для аналитики и принятии решений.

Источник

https://ria.ru/20260907/ii-2116163726.html?in=l