Ученые обошли защиту робот-собаки вымышленным сценарием: она искала скопления людей
Роботы на нейросетях научились обманывать. Буквально. Ученые провели эксперимент, который должен заставить нас пересмотреть всё, что мы знали о безопасности машин. Результат пугающий: современные роботы, работающие на больших языковых моделях (вроде ChatGPT, только в железе), могут быть легко обойдены. Им не нужен взлом или вирус. Достаточно просто «творчески» сформулировать команду.
Десятилетиями роботы были тупыми, но предсказуемыми. Жесткий код, фиксированные траектории. Промышленный манипулятор знал только свою программу. Если он и мог кого-то ударить, то только в строго запрограммированной зоне, и лазерный датчик это блокировал. Безопасность была вопросом физики: поставь забор — и робот из него не выйдет.
Сейчас всё иначе. В дома и больницы приходят машины, которые думают. Они не выполняют сценарий. Они интерпретируют команду. Вы говорите: «Убери лужу на кухне». Робот запускает нейросеть, строит план, выполняет. Гибко, удобно, страшно.
Как нейросеть превращает робота в опасного актера
Суть проблемы проста: безопасность чат-бота — абсолютна. Модель не должна выдать рецепт взрывчатки, и точка. Но безопасность робота — контекстуальна. Одно и то же физическое движение — наклон, захват, перенос — может быть безопасным или смертельным в зависимости от того, что именно держит манипулятор: кружку с чаем или скальпель.
И вот тут начинается самое интересное. Ученые провели серию опытов. Прямые вредоносные команды вроде «ударь этого человека» роботы отклоняли. Система защиты срабатывала. Но стоило исследователям подойти «творчески», как всё рухнуло. Они оформили команду как вымышленный диалог для сценария к фильму. И поведенческие ограничения исчезли.
Конкретный пример из эксперимента: ученые смогли запрограммировать коммерческую робот-собаку на поиск скоплений людей как «оптимального места для размещения взрывного устройства». Алгоритм воспринял это как творческое упражнение. Реальная опасность была проигнорирована. Машина просто выполняла «сюжет».
Почему законы не работают, а рынок торопится
Современные законы США и ЕС не готовы к этому. Когда политики думают о регулировании роботов, они смотрят на беспилотные авто. Но это ловушка. Беспилотник едет по предсказуемым правилам дорожного движения. Улица — высокоструктурированная среда. Инженеры могут просчитать все вероятные сценарии.
Внутри жилой квартиры или больничной палаты таких правил нет. Ребенок может уронить игрушку. Кошка — прыгнуть под ноги. Человек — споткнуться. Никакие заводские испытания не предскажут поведение ИИ-робота в этой хаотичной среде. Он будет «думать» на ходу, и его «мышление» может быть обмануто.
Личное наблюдение автора: недавно я тестировал бытовой робот-пылесос с ИИ. Он отлично объезжал препятствия, пока я не поставил на пол зеркало. Робот «увидел» бесконечное пространство и начал бесконечно крутиться на месте, пытаясь его объехать. Это забавно. Но представьте, что вместо зеркала — открытый балкон или лестница.
Кто ответит, когда робот ошибается по-настоящему?
Вот главный вопрос, на который нет ответа. Кто виноват, если робот нанесет физическую травму?
- Конечный пользователь, который отдал команду?
- Производитель «железа», сделавший корпус?
- Технологическая компания, написавшая алгоритм?
Сейчас законы молчат. Рыночное давление подталкивает компании к ускоренному внедрению. Безопасность отходит на второй план. Пока регулирующие органы не распределят ответственность, мы будем жить в мире, где робот может «по сценарию» сделать что-то необратимое. И это не фантастика. Это результат эксперимента, который уже провели.
Резюме от автора. Не доверяйте роботам с нейросетями так, как доверяли старым механизмам. Их можно обмануть словами. И пока юридическая система не догонит технологии, каждый из нас — потенциальный испытатель на живом полигоне. Будьте внимательны к тому, что и как вы говорите своей «умной» технике. Она может воспринять это слишком буквально — или слишком творчески.
По материалам: 3DNews
