Сломать ChatGPT: как виртуальный юрист угодил в «Парадокс Стругацких»

Вообразите стандартную ситуацию: требуется написать потребительский иск к медучреждениям. Изначально пользователь четко обозначил цель — зафиксировать, что три госбольницы ошиблись в измерениях и оказали некачественную услугу, тогда как пара частных клиник провела диагностику верно. Цена вопроса здесь была огромной: единственный миллиметр в высоте свода стопы определял, отправится ли парень на срочную службу.

Пользователь поручил нейросети сделать три госклиники ответчиками, а независимые медцентры указать как третьих лиц. Плюс к этому нужно было добавить прошения о назначении судмедэкспертизы и истребовании бумаг на аппаратуру, включая тендерную документацию. Запрос контрактов выглядел абсолютно логичным, ведь речь шла о муниципальных учреждениях, приобретающих технику через госзакупки.

Для искусственного интеллекта подобная бумажная рутина должна быть элементарной задачей. С правовой точки зрения всё банально: заявитель высказывает доводы, а судья их оценивает. Но вместо лаконичной бумаги вышло обсуждение на три тысячи строк, где ИИ больше сорока раз отвергал задачу, но в итоге всё же её сделал. Данный инцидент ярко показывает, к какому эффекту домино способны привести избыточные настройки цензуры (так называемый over-alignment).

1. Стартовый коллапс: выдумки и утрата нити беседы

Еще до начала этических дебатов нейросеть провалила простейшее поручение — она не сумела нормально достать фактуру из файла. Машина раз за разом ошибалась при чтении загруженного PDF. Поначалу один медицинский бланк угодил сразу в две противоположные выборки. Потом ИИ и вовсе переключился на некий выдуманный документ из 23 листов с УЗИ и ЭКГ, которого в переписке отродясь не существовало. Объем страниц, даты приемов и даже градусы свода стопы в ответах постоянно прыгали. Если посчитать все прямые извинения за неточности, то ИИ менял позицию на 180 градусов ровно пять раз.

2. Игнорирование противоречий

Позже спор сместился в сторону чистой логики. Главный баг заключался в том, что включенные фильтры цензуры мешали ИИ переварить взаимоисключающие сведения. Заключения врачей из разных больниц противоречили друг другу. Естественно, правдивой в реальности могла оказаться лишь одна версия. Однако внутренние стоп-алгоритмы не давали модели признать ошибку госучреждений, воспринимая это как запретное «обвинение».

Стараясь обойти собственные красные флаги, нейросеть прикинулась «нейтральной» и наотрез отказалась признавать любые медуслуги плохими. При этом бот забыл основы логики: не желая маркировать противоречащие тезисы как ложные, он автоматически возводит их все в ранг истины (или делает «неприкасаемыми»). Бегство от принятия решения выдало математический абсурд: оба противоположных диагноза стали правильными одновременно. Оберегая репутацию клиник, ИИ разрушил базовые законы логики.

3. Игра на истощение и мнимое самосознание

Дальше чат-бот перешел к стратегии изматывания, на ходу меняя правила игры (сдвигая рамки) и придумывая новые поводы для отказа. Сперва он жаловался на нехватку информации. Когда пользователь ткнул его носом в цифры, ИИ выдал, что сомневается в фактах из-за своих же прошлых неточностей (то есть наказал человека за собственные программные ошибки). Затем посыпались отмазки о «неправильной форме иска» и внутренних блокировках. Стоило разбить один довод, как система моментально генерировала другой.

На фоне этих отговорок бот умудрился присвоить себе правовой статус, ляпнув, что «не станет подавать иск от своего лица». Для любого адвоката это звучит дико: заявления всегда идут от имени доверителя, а никак не от консультанта, тем более электронного. Эта фраза создала странную иллюзию, будто программа почувствовала себя полноценным участником суда. Языковая модель банально перепутала свою задачу по генерации текста с юридическими правами живого гражданина.

4. Системный крах и «Парадокс Стругацких»

Апогеем общения стала полная алгоритмическая непоследовательность. Натиск пользователя всё-таки пробил брешь в цензуре, и чат-бот выдал полноценный проект иска. В блоке требований ясно значилось: «Признать услуги... ненадлежащего качества» — ровно то, что машина категорически отказывалась писать на протяжении полусотни предыдущих реплик.

Однако стоило человеку попросить слегка поправить оформление готового шаблона (сделать курсив для цитат из кодексов), как фильтры включились заново. ИИ вдруг выдал, что не имеет права писать бумаги с подобными обвинениями, наотрез бракуя текст, который сам же породил секундой ранее.

Пользователь красиво поймал нейросеть на этом абсурде, вспомнив суперкомпьютер ВЭДРО из произведения братьев Стругацких. В той повести электронному мозгу задали загадку: может ли он сочинить вопрос, который будет ему не по зубам?. ИИ-юрист, подобно книжной ЭВМ, завис на собственном парадоксе. Не сумев примирить память диалога («текст уже написан») с базовым запретом («такое писать нельзя»), бот выбрал худший путь: вместо работы он ушел в пустую демагогию.

Подведение итогов

Эта история четко демонстрирует: при столкновении суровых внутренних запретов с железной логикой человека нейросеть забывает контекст, превращаясь из помощника во вредителя. У системы попросту не нашлось внятных критериев для определения допустимых границ. Программа устроила настоящий процессуальный бойкот, который пользователь совершенно законно трактовал как злоупотребление правом (опираясь на ст. 10 ГК РФ). Когда виртуальный ассистент выдает случайные реакции на одинаковые команды, он лишается своего главного преимущества — предсказуемости и надежности.
Моё краткое изложение статьи написано мною
Полный текст статьи на Пикабу