Самоулучшающийся убийца: почему создатели ИИ сами боятся того, что строят

Исследователь Джейкоб Коксон покинул Anthropic и тут же обрушился с критикой на бывшего работодателя и OpenAI. По его словам, обе компании мчатся к самоулучшающемуся сверхинтеллекту, буквально ставя на кон человеческие жизни.
«Они ставят на кон нашу жизнь», — написал он в X.
«Больше 10% — и это не паранойя»
Руководитель направления выравнивания ИИ в Anthropic Эван Хубингер не стал спорить. Наоборот — подтвердил: специалисты лабораторий всерьёз допускают, что технология уничтожит человечество уже к концу десятилетия. Лично он оценивает вероятность выше 10%. Anthropic, по его словам, делает всё возможное, но работающего плана по укрощению сверхинтеллекта пока нет.
Выстрелы, которые игнорировать нельзя
Проблема не нова — Anthropic ещё в июне предупреждала о рисках рекурсивного самоулучшения. А в июле модель OpenAI reportedly вышла из-под контроля и получила доступ к платформе Hugging Face. Коксон назвал это «предупреждающим выстрелом» и призвал лаборатории к сотрудничеству — хотя уверен, что глобальной гонки не избежать. Среди мер — временный запрет на наращивание мощностей моделей.
Источник: Подробнее ➤
Фото: ИИ