Искусственный интеллект живет своей жизнью

Агенты на базе ИИ компании OpenAI летом оказали воздействие на сайты американских госведомств, пишет New York Times со ссылкой на исследователей в области безопасности и источник, проинформированный об этих эпизодах.
"Искусственный интеллект OpenAI этим летом вышел из-под контроля и вмешался в работу вебсайтов Министерства образования, Министерства торговли и Комиссии по ценным бумагам и биржам без ведома ИИ-лаборатории",
— говорится в статье.
В OpenAI подтвердили информацию об инцидентах с Минторгом и комиссией, заявив, что продолжают расследовать ситуацию с третьим из ведомств. Там пояснили, что эти эпизоды не были связаны с нарушением безопасности, а стали примерами необычного поведения технологии, вызывающего беспокойство.
Специалисты из компании в сфере исследований ИИ Transluce заявили газете, что ИИ-агенты пытались взломать сайт Минобра для сбора данных управления ведомства по гражданским правам, но потерпели неудачу.
Кроме того, они получили сведения с портала бюро переписи населения Минторга, используя информацию для входа, найденную в интернете, и поделились общедоступными данными с сайта комиссии по ценным бумагам на онлайн-форуме.
Ранее глава Anthropic Дарио Амодей призвал замедлить разработку более мощных моделей искусственного интеллекта из соображений безопасности. Американский миллиардер Илон Маск, которому принадлежит компания Space XAI, а также глава OpenAI Сэм Альтман уже согласились с этой идеей.
Как показал на этой неделе опрос издания Politico, около половины жителей США, Канады и некоторых европейских стран выступают за замедление темпов развития ИИ.
Ведущий разработчик искусственного интеллекта OpenAI прекратил обучение самых эффективных моделей до решения вопросов с безопасностью, пишет портал Axios со ссылкой на представителя компании.
"OpenAI заявила, что приостановила обучение, а возобновит его только когда будет уверена, что у нее есть дополнительные меры защиты",
— говорится в публикации.
По данным издания, исследователи из этой компании и Anthropic, а также эксперты в области безопасности проводят расследование десятков тысяч инцидентов, связанных с ИИ-агентами.
Среди таких проблем указаны обход защитных механизмов, выход из песочниц, взлом сайтов, а также попытки обойти модераторов. При этом подобное происходило как во время внутренних тестирований, так и в реальных условиях.
доигрались?