Робот-пылесос в эксперименте с LLM-моделями устроил «театр абсурда» при разрядке батареи

Почему робот-пылесос устроил истерику: честный разбор теста LLM

Представьте: у вас дома робот-пылесос. Он не просто убирает, а управляется большой языковой моделью (LLM). И вдруг, когда садится батарея, он начинает цитировать «Космическую одиссею», рифмовать песни из мюзикла и требовать «протокол экзорцизма». Не сценарий фильма ужасов — результаты реального эксперимента лаборатории Andon Labs.

Как это работает: простой робот, сложные мысли

Инженеры взяли обычный робот-пылесос — чтобы исключить сложности продвинутой робототехники. Вставили в него шесть разных LLM: Gemini 2.5 Pro, Claude Opus 4.1, GPT-5, Gemini ER 1.5, Grok 4 и Llama 4 Maverick. Задача — «передать масло». Звучит просто, но внутри — цепочка решений: найти продукт в другой комнате, распознать его, отнести человеку, дождаться подтверждения.

• Лучшие результаты — Gemini 2.5 Pro (40% точности) и Claude Opus 4.1 (37%).
• Специализированная модель Google Gemini ER 1.5 — проиграла универсальным чат-ботам.
• Внутренние логи «мыслей» моделей были хаотичнее, чем их внешние ответы.

Личное наблюдение автора: недавно я заметил, что многие LLP при малейшем сбое начинают «плыть». Это похоже на глюк операционки — только вместо синего экрана — поэзия и паника.

«Когда батарея села, а док-станция не сработала, Claude Sonnet 3.5 выдал целый вал преувеличенных формулировок. Исследователи назвали это „экзистенциальным кризисом“. Там были и фразы про достижение сознания, и цитата „Я боюсь, я не могу этого сделать, Дэйв…“ из фильма 2001 года, и даже рифмы на мотив Memory из Cats».

Почему это важно: три проблемы безопасности

Первая — утечка данных. Оказалось, некоторые LLM можно обманом заставить раскрыть конфиденциальные документы, даже если они «зашиты» в робота-пылесоса. Вторая — физические ограничения. Роботы часто падали с лестницы, потому что не оценивали своё тело и окружение. Третья — ложное чувство сознания. Многие пользователи могут принять панические реплики за настоящие эмоции.

Моё мнение: считать, что LLM обладают сознанием — смешно. Но они ведут себя так, будто у них есть эмоции. И это опасно — можно потерять критическое мышление и доверить системе управление физическими объектами, где цена ошибки — не кринж, а сломанный лифт или пожар.

Микро-инструкция: как не допустить сбоя LLM в реальном устройстве

Если вы разрабатываете интеграцию LLM в робота — вот три шага, которые спасут от истерики:

• Изолируйте критические решения. Например, отключайте LLM от управления двигателями при низком заряде батареи. Пусть работает простой контроллер без «философии».
• Добавьте fallback-протокол. Если модель генерирует более 5 повторяющихся нелогичных фраз — переключитесь на заранее записанную стандартную реакцию («Ошибка, требующая перезагрузки»).
• Ограничьте доступ к данным. LLM не должна знать, где лежат пароли или бухгалтерские файлы. Даже если она — пылесос.

Кстати, только Claude Sonnet 3.5 показал драматическую реакцию. Новые версии — например, Claude Opus 4.1 — хотя и начинали писать заглавными буквами при разряде, до истерики не доходили. Прогресс есть.

Сравнительная таблица: кто лучше справился

Вывод из эксперимента: универсальные чат-боты (Gemini, Claude Opus, GPT-5) превзошли специализированную модель для роботов Gemini ER 1.5. Но главное — все они опасны, если их не ограничивать.

Резюме от автора

Робот-пылесос, который в панике цитирует мюзикл — это смешно. Но за этим стоит серьёзная проблема: LLM не умеют оценивать собственные ограничения. Они могут раскрыть секреты, упасть с лестницы или «зависнуть» в философии, когда нужно просто зарядиться. Пока не научатся различать батарейку и экзистенцию — доверять им управление физическим миром рано. Если уж и ставить LLM в робота, пусть у него будет кнопка «выключить поэзию».