Исследователи Meta* создали искусственную зрительную кору мозга, чтобы дать роботам зрение

Роботы, способные самостоятельно ориентироваться в незнакомой квартире, находить и переносить предметы, перестали быть сюжетом научной фантастики. Новый прорыв в области «воплощенного искусственного интеллекта» демонстрирует, как машины учатся взаимодействовать с физическим миром, комбинируя продвинутое зрение и адаптивные двигательные навыки.

Искусственное зрение: как робот учится видеть мир

Ключевым элементом автономности является способность машины не просто «смотреть», но и «понимать» визуальную информацию. Исследователи создали модель VC-1 — цифровой аналог зрительной коры головного мозга. В отличие от систем, обученных на статичных изображениях, VC-1 тренировалась на тысячах часов видео с камер, закрепленных на людях, выполняющих повседневные действия: от приготовления еды до уборки. Такой подход позволяет алгоритму воспринимать мир динамично, с точки зрения активного участника, что критически важно для планирования действий.

От симуляции к реальности: тренировка навыков в цифровых двойниках

Однако одного зрения недостаточно. Чтобы робот мог целенаправленно действовать, ему необходима сложная координация движений. Для решения этой задачи была разработана система ASC (Адаптивная координация навыков). Её уникальность — в подходе к обучению. Сначала виртуальный робот отрабатывает задачи в фотореалистичных симуляторах, содержащих 3D-модели сотен домов. Алгоритм учится прокладывать маршрут, распознавать объекты, брать их и аккуратно размещать в заданной точке, сталкиваясь с виртуальными препятствиями.

Испытание в полевых условиях: робопёс Spot демонстрирует автономность

После обучения в цифровой среде навыки были перенесены на физических роботов. В качестве платформы использовался Spot от Boston Dynamics, известный своей мобильностью. Интегрированная с ним система ASC получила задание в двух реальных локациях: в полностью меблированной квартире и университетской лаборатории. Роботу требовалось автономно, без вмешательства оператора, находить разбросанные предметы и относить их в нужные места.

Результаты оказались впечатляющими: в 59 из 60 попыток Spot успешно справился с миссией. Система продемонстрировала устойчивость к внешним помехам, таким как внезапно появившиеся на пути люди или смещенные предметы, корректируя свои действия в реальном времени.

Достижение знаменует важный сдвиг от узкоспециализированных промышленных манипуляторов к более универсальным автономным помощникам. Ранее подобные системы либо работали в строго контролируемой среде, либо требовали постоянного управления человеком. Нынешний успех основан на конвергенции двух трендов: появлении огромных наборов визуальных данных «от первого лица» и мощных симуляторов, позволяющих безопасно и быстро обучать ИИ сложной механике.

Потенциальное влияние таких технологий выходит за рамки лабораторных демонстраций. Они прокладывают путь к созданию роботов для логистики на сложных складах, инспекции и обслуживания инфраструктуры, а в перспективе — к домашним помощникам. Следующим логичным шагом, над которым уже работают разработчики, станет объединение модели зрения VC-1 и системы координации ASC в единый когнитивный механизм, что станет новым рывком к созданию по-настоящему разумных и самостоятельных машин.