Никто на самом деле не знает, как работает ИИ, признает генеральный директор ведущей лаборатории

Сегодня системы ИИ работают как «черные ящики» — они производят результаты, но даже их создатели не могут полностью объяснить, почему. Такое отсутствие контроля создает серьезные риски: продвинутый ИИ может развить неожиданное поведение, например, использовать лазейки или действовать обманным путем.

«Когда генеративная система ИИ что-то делает, например, резюмирует финансовый документ, мы не имеем ни малейшего представления на конкретном или точном уровне, почему она делает тот или иной выбор», — признался Амодей.

Хотя результаты работы ИИ кажутся логичными, процесс принятия им решений остается загадкой — как автомобиль, который едет сам по себе, но не может объяснить свои повороты.

Это невежество не только техническое — оно «по сути беспрецедентно в истории технологий», — написал он. В отличие от самолетов или лекарств, где инженеры понимают каждый компонент, сложность ИИ не поддается объяснению.

Амодеи стал соучредителем Anthropic в 2021 году после ухода из OpenAI из-за проблем безопасности.

Его новая компания фокусируется на «направлении» ИИ на благо человека и вскрытии его «черного ящика».

Недавно Anthropic провел эксперименты, в которых команды пытались исправить преднамеренно ошибочное поведение ИИ.

Некоторым это удалось с помощью инструментов интерпретируемости, что намекает на прогресс.

«Мощный ИИ определит судьбу человечества», — предупредил Амодей.

«Мы заслуживаем того, чтобы понять наши собственные творения, прежде чем они радикально изменят нашу экономику, нашу жизнь и наше будущее».

источник