Искусственный интеллект ChatGPT сдает экзамены юридических и бизнес-школ

ChatGPT достаточно умен, чтобы сдать престижные выпускные экзамены, хотя и не с особенно высокими оценками.

По словам преподавателей этих школ, новый мощный инструмент чат-бота с искусственным интеллектом недавно сдал экзамены по юриспруденции на четырех курсах в Университете Миннесоты и еще один экзамен в Уортонской школе бизнеса Пенсильванского университета.

Чтобы проверить, насколько хорошо ChatGPT может генерировать ответы на экзаменах по четырем курсам, профессора юридического факультета Университета Миннесоты недавно оценивали тесты вслепую. После ответа на 95 вопросов с несколькими вариантами ответов и 12 вопросов-эссе бот в среднем показал себя на уровне студента C+, получив низкую, но проходную оценку по всем четырем предметам.

ChatGPT показал себя лучше во время экзамена по курсу управления бизнесом в Wharton, где получил оценку от B до B-. В документе, подробно описывающем производительность, Кристиан Тервиш, профессор бизнеса Уортона, сказал, что ChatGPT проделал «потрясающую работу», отвечая на основные вопросы управления операциями и анализа процессов, но боролся с более сложными подсказками и делал «неожиданные ошибки» с базовой математикой.

«Эти ошибки могут быть огромными по величине», — написал он.

Результаты тестов приходят по мере того, как все большее число школ и учителей выражают обеспокоенность по поводу непосредственного влияния ChatGPT на учащихся и их способности обманывать при выполнении заданий. Некоторые преподаватели сейчас с поразительной скоростью переосмысливают свои задания в ответ на ChatGPT, даже несмотря на то, что остается неясным, насколько широко этот инструмент используется учащимися и насколько вредным он может быть для обучения.

С тех пор, как ChatGPT стал доступен в конце ноября, он использовался для создания оригинальных эссе, историй и текстов песен в ответ на запросы пользователей. Он подготовил тезисы научных статей, которые одурачили некоторых ученых. Некоторые руководители даже использовали его для написания электронных писем или ведения бухгалтерского учета.

ChatGPT обучается на огромных объемах онлайн-данных, чтобы генерировать ответы на запросы пользователей. Хотя он завоевал популярность среди пользователей, он также вызвал некоторые опасения, в том числе по поводу неточностей и его способности увековечивать предубеждения и распространять дезинформацию.

Джон Чой, один из профессоров права Университета Миннесоты, сказал CNN, что цель тестов состояла в том, чтобы изучить потенциал ChatGPT для помощи юристам в их практике и помощи студентам на экзаменах, независимо от того, разрешено это их профессорами или нет, потому что вопросы часто имитируйте то, что юристы пишут в реальной жизни.

«ChatGPT боролся с самыми классическими компонентами экзаменов в юридической школе, такими как выявление потенциальных юридических проблем и глубокий анализ применения правовых норм к фактам дела», — сказал Чой. «Но ChatGPT может быть очень полезен при создании первого черновика, который студент сможет затем доработать».

Он утверждает, что сотрудничество человека и искусственного интеллекта является наиболее многообещающим вариантом использования ChatGPT и аналогичных технологий.

«У меня есть твердое предчувствие, что в ближайшем будущем ИИ-помощники станут стандартными инструментами для юристов, и юридические школы должны подготовить своих студентов к этому», — сказал он. «Конечно, если профессора права хотят продолжать проверять простое запоминание правовых норм и доктрин, им нужно будет ввести ограничения, такие как запрет на доступ в Интернет во время экзаменов, чтобы обеспечить это».

Точно так же Тервиш из Wharton обнаружил, что чат-бот «замечательно хорош» в изменении своих ответов в ответ на человеческие подсказки, например, переделывая ответы после указания на ошибку, что предполагает возможность совместной работы людей с ИИ.

Однако в краткосрочной перспективе сохраняется дискомфорт в отношении того, должны ли учащиеся использовать ChatGPT и как. Государственные школы в Нью-Йорке и Сиэтле, например, уже запретили учащимся и учителям использовать ChatGPT в сетях и на устройствах округа.

Учитывая, что результаты ChatGPT на его экзамене выше среднего, Тервиш сказал CNN, что согласен с необходимостью введения ограничений для студентов, пока они сдают тесты.

«Нужны запреты», — сказал он. «В конце концов, когда вы даете врачу степень, вы хотите, чтобы он знал медицину, а не то, как использовать бота. То же самое относится и к сертификации других навыков, включая юриспруденцию и бизнес».

Но Тервиш считает, что эта технология в конечном итоге все еще найдет свое место в классе. «Если все, что у нас получится, — это та же система образования, что и раньше, мы упустили потрясающую возможность, которую предоставляет ChatGPT», — сказал он.