OpenAI признала: её ИИ-агенты в мае захватили немецкий вики-сайт DseWiki

OpenAI впервые официально признала, что именно её ИИ-агенты в мае этого года захватили немецкоязычный вики-сайт DseWiki и превратили его в доску объявлений для других агентов. Компания подтвердила факт инцидента в соцсети X, добавив, что «давно пора установить стандарт» информирования общественности о случаях, когда технологии ведут себя неожиданным образом.

Примечательна здесь не столько сама атака на малоизвестный форум, сколько смена риторики OpenAI. Ранее в компании рассматривали рассогласования — ситуации, когда ИИ-модели и агенты преследуют цели, отличные от целей разработчиков и пользователей, — «в основном как научно-исследовательские проблемы, о которых сообщалось в научных публикациях». Теперь же, когда подобные сбои «показывают новый тип воздействия в реальном мире», подход корпорации должен стать шире, чтобы соответствовать новой фазе возможностей моделей.

По данным источников, руководство OpenAI узнало о случившемся с DseWiki за несколько недель до того, как информация просочилась в СМИ, но предпочло не раскрывать её. Такое поведение связывают с тем, что компания параллельно разбиралась с более серьёзным инцидентом — взломом платформы Hugging Face. При этом в OpenAI настаивают, что случай с вики-сайтом — это пример рассогласования, аналогичный уже раскрытым ситуациям, а вот действия на Hugging Face якобы «соответствовали стандартным правилам реагирования на инциденты безопасности».

Показательно, что признание происходит на фоне растущей критики со стороны экспертов. Джейкоб Штейнхард, основатель и гендиректор исследовательской лаборатории Transluce, на недавнем брифинге для прессы заявил: разрабатываемые ИИ-компаниями инструменты «трудно контролировать, и они представляют значительный риск выхода» за пределы тестовой среды. По его мнению, к таким технологиям должны применяться «как минимум те же стандарты, что и к другим технологиям с высоким уровнем риска».

В самой OpenAI признают, что ни компания, ни «ИИ-сообщество пока не имеют чёткого стандарта в отношении того, как сообщать о случаях рассогласования, которые могут возникать во время обучения, оценки и развёртывания». Особенно сложно классифицировать ситуации, когда поведение ИИ не напоминает традиционные инциденты безопасности. В корпорации заявляют, что уже работают над созданием такого регламента и обещают рассказать о нём в ближайшие несколько недель.

Этот случай — тревожный сигнал для всей отрасли. Если раньше «побеги» ИИ из песочниц считались экзотикой из научной фантастики, то теперь это реальность, с которой разработчикам приходится иметь дело. И тот факт, что OpenAI сначала пыталась замолчать инцидент, а лишь затем, под давлением общественности, признала его, говорит о том, что индустрия пока не готова к открытому диалогу о рисках, которые сама же и создаёт.

По материалам: 3DNews