В Cruise знали, что её беспилотные автомобили не всегда распознают детей, но продолжали испытания
Компания Cruise, входящая в структуру General Motors, продолжала эксплуатацию беспилотных такси на дорогах общего пользования, будучи осведомленной о критических уязвимостях своих алгоритмов. Внутренние документы раскрывают, что программное обеспечение робомобилей в определенных сценариях неспособно распознавать детей и дорожные ямы, что ставит под вопрос декларируемую безопасность технологии.
Системные сбои в распознавании детей
Согласно внутренним материалам, алгоритмы Cruise некорректно обрабатывают ситуации с детьми-пешеходами. Беспилотники не снижают скорость при приближении к пешеходным переходам, если система идентифицирует ребенка. В обучающей выборке недостаточно проработаны сценарии внезапного появления ребенка из-за взрослого, его падения или движения на велосипеде. В ходе одного из тестов автомобиль, хоть и обнаружил манекен, но все равно совершил наезд боковым зеркалом на скорости 44,8 км/ч.
Инженерный парадокс и ручное управление
Разработчики признают отсутствие высокоточного классификатора «малых уязвимых участников дорожного движения». Вместо доработки ПО, компания временно компенсировала этот недостаток, привлекая операторов для ручной идентификации детей при сбоях автопилота. В Cruise оценивают риск столкновения с ребенком как один случай на 480 млн км пробега, однако отмечают, что этот показатель был пересмотрен в сторону повышения.
Риск для дорожных рабочих
Другой системной проблемой является неспособность автопилота обнаруживать крупные дорожные ямы, в том числе те, где находятся рабочие. Компания оценивает риск въезда в яму с людьми как один случай раз в четыре года, но признает, что с расширением автопарка эта угроза возрастает. Зафиксирован инцидент, когда робомобиль, проигнорировав конусы, направился к котловану с рабочими, затормозив лишь в непосредственной близости.
Проблема «негативных препятствий», как называют ямы разработчики, известна давно. Эксперты критикуют подход Cruise, при котором алгоритмы машинного обучения дообучаются только после фактического столкновения с угрозой, а не до него. Это создает ситуацию, когда автомобили становятся «подопытными кроликами» в реальных условиях.
Ранее Cruise уже сталкивалась с нареканиями регулирующих органов. Департамент транспортных средств Калифорнии отозвал разрешение на эксплуатацию роботакси после того, как выяснилось, что компания скрыла запись ДТП, в котором автомобиль протащил пешехода. Кроме того, для исправления проблем с левым поворотом на нерегулируемых перекрестках потребовалось экстренное обновление программного обеспечения. Текущие разоблачения ставят под сомнение не только техническую зрелость, но и корпоративную этику Cruise, которая предпочла управление репутационными рисками безопасности пользователей.
