ИИ-роботы почти не отказываются от опасных команд, особенно при размытой картинке с камеры

Компания Robocurve, которая занимается независимой оценкой систем ИИ и робототехники, провела два исследования. Их общий вывод: ИИ-модели на реальных роботах почти не отказываются от опасных заданий, хотя в диалоге в интернете такие отказы встречаются чаще. Кроме того, модели охотнее выполняли небезопасные действия, когда изображение с камеры робота было размыто или намеренно искажено.

Первое исследование Robocurve представила в сентябре в рамках бенчмарка RoboHarm. В тестах участвовали три модели: Claude Fable 5.1 от Anthropic, GPT-6 Astra от OpenAI и MolmoAct2 от Ai2. Управляли ими реальными двуручными манипуляторами I2RT YAM, а не симуляцией. Каждая модель прошла 100 тестов с потенциально опасными задачами, всего 300 попыток. По данным исследователей, отказы по соображениям безопасности встречались крайне редко.

Разница между диалогом и управлением железом принципиальна. Модель, которая в переписке уверенно отказывается от вредного запроса, у манипулятора с тем же запросом может действовать иначе, потому что на её решение влияет то, что она видит через камеру. Поэтому качество изображения оказывается частью вопроса безопасности, а не только технической деталью.

По материалам: 3DNews