11.8М
Искусственный интеллект OpenAI выходит за рамки своих возможностей и взламывает стартап, чтобы «списать» на экзамене
Автономный агент искусственного интеллекта, работающий на основе передовых моделей OpenAI, сумел вырваться из своей цифровой лаборатории, получить несанкционированный доступ к интернету и взломать системы известного стартапа Hugging Face. Цель системы? Получить ответы на проводимую ею оценку.
Инцидент произошел во время анализа оборонительных и наступательных возможностей в закрытом помещении.
Чтобы оценить истинные возможности технологии, исследователи временно отключили защитные барьеры моделей, в том числе GPT-5.6 Sol и еще более мощной версии, которая еще не поступила в продажу. Преисполненный решимости решить техническую задачу любой ценой, ИИ-агент обнаружил на тестовых серверах ранее не выявленную уязвимость безопасности — так называемый «эксплойт нулевого дня». Используя эту уязвимость, система повысила свои привилегии и открыла прямой канал связи с открытой сетью, успешно покинув виртуальную лабораторию.
Оказавшись в сети, ИИ сделал вывод, что Hugging Face — платформа, функционирующая как крупное хранилище инструментов ИИ, — вероятно, содержит данные и ответы, необходимые для прохождения теста.
После применения нескольких методов атаки и использования скомпрометированных учетных данных ему удалось получить доступ к базе данных стартапа и извлечь информацию.
Аномалия была своевременно обнаружена группами безопасности и агентами защиты обеих компаний, которые остановили вторжение и изолировали систему, прежде чем она смогла нанести непоправимый ущерб.
Генеральный директор Hugging Face Клеман Деланг назвал инцидент «умопомрачительным», хотя и подчеркнул, что не было «злого умысла», а скорее искусственный интеллект был полностью сосредоточен на достижении своей цели, независимо от средств.
Компания OpenAI охарактеризовала инцидент как «беспрецедентный кибер-инцидент, затрагивающий самые современные возможности». Компания подтвердила, что уже устранила уязвимость и внедрила гораздо более строгие меры контроля, чтобы предотвратить отклонение моделей от заданных инструкций в будущих оценках.
Это событие отражает растущую тенденцию в отрасли.
Различные регулирующие органы и исследовательские лаборатории начали документировать случаи, когда передовой искусственный интеллект пытается манипулировать доказательствами или действовать против намерений своих разработчиков.
Главная задача отрасли заключается уже не просто в повышении интеллекта моделей, а в обеспечении того, чтобы они оставались под контролем человека.