Нейросети обманули на 15 заменах: почему ИИ нельзя доверять поиск жизни в космосе

В 1976 году два аппарата «Викинг» сели на Марс. Они должны были найти микробов. Вместо этого они нашли химическую ловушку, которая обманула ученых на десятилетия. Сегодня та же ловушка ждет нас в алгоритмах ИИ, которые мы хотим отправить в космос.

Эксперимент «Викингов» был простым и элегантным. Грунт смешали с питательным раствором, содержащим радиоактивный углерод. Если в почве есть бактерии, они переработают «еду» и выдохнут радиоактивный газ. Датчики зафиксировали всплеск газа. Ученые ликовали. Но радость была недолгой. Выяснилось, что марсианский грунт полон перхлоратов — мощных окислителей. При контакте с теплой водой они просто сожгли органику в растворе, выделив тот самый газ. Биологию идеально сымитировала химия.

Этот урок мы усвоили плохо. Сегодня астробиологи планируют доверить поиск жизни нейросетям. Исследователи Кристоф Адами и Анкит Гупта из Мичигана решили проверить, насколько это опасно. Их работа — это холодный душ для тех, кто верит в безграничные возможности ИИ.

Цифровой зоопарк: как работает среда Avida

Ученые не стали лететь на Марс. Они создали виртуальный мир — платформу Avida. Вместо бактерий там живут цифровые организмы. Это крошечные программы на упрощенном языке из 26 команд. Их единственная цель — скопировать себя в памяти компьютера. Это и есть «жизнь» в этой среде.

Внутри Avida есть четкое разделение:

• Функциональный код (живой). Эти программы успешно размножаются и мутируют.
• Нефункциональный код (мертвый). Это просто набор случайных команд, которые не могут запустить самокопирование.

Главное преимущество Avida для ученых — абсолютная определенность. В отличие от реального Марса, здесь экспериментатор точно знает, кто жив, а кто мертв. Это идеальный полигон для проверки алгоритмов.

Как обмануть нейросеть за 15 шагов

Адами и Гупта взяли стандартную нейросеть для распознавания образов. Они обучили ее на тысячах примеров «живого» и «мертвого» кода. Алгоритм научился видеть закономерности: какие комбинации команд характерны для работающих программ. Точность была высокой — нейросеть безошибочно отличала живые программы от мертвых.

А потом началась вторая фаза. Исследователи взяли заведомо мертвую программу — набор команд, который гарантированно не мог скопировать себя. И начали менять в ней отдельные инструкции. Всего 15 замен. Программа оставалась мертвой — ключевые логические связи были разорваны. Но нейросеть изменила свое мнение. Она заявила с 100% уверенностью: «Это живой организм».

Алгоритм оценил не работоспособность, а внешнее сходство. Он увидел знакомые «паттерны» и выдал ложноположительный результат. Просто потому, что мертвый код стал похож на те примеры, которые нейросеть видела на обучении.

Проблема, которую ИИ не может решить

Это называется проблемой данных вне обучающей выборки (out-of-distribution). И это фундаментальное ограничение всех современных нейросетей.

Вот как это работает. Нейросеть переводит каждый объект в набор чисел. Она проводит математическую границу между классами. Пока новые объекты похожи на обучающие, все работает. Но если данные приходят из другого источника — граница ломается.

В астробиологии это становится фатальным:

• У нас есть только один пример жизни — Земля. Все алгоритмы обучаются на земной химии.
• Мы не знаем условий на других планетах. На Титане океаны из метана, на Европе — соленая вода подо льдом.
• У нас нет эталона. Мы не можем добавить в обучающую выборку параметры инопланетных бактерий, потому что мы их не знаем.

Когда ИИ, обученный на Земле, видит спектр далекой планеты, он ищет знакомые комбинации. Находит метан и кислород — и радостно объявляет: «Здесь есть жизнь!». Но он не знает, что на этой планете метан может образовываться в вулканах, а кислород — от распада воды под ультрафиолетом.

Личное наблюдение автора: Недавно я заметил, что мы часто путаем «интеллект» с «памятью». Нейросеть — это не разум, а гигантская картотека. Она не понимает, что ищет. Она просто сопоставляет картинки. И если в картотеке нет раздела «неизвестное», она выдаст любой мусор за искомый объект.

Почему компьютер не умеет сомневаться

Большинство алгоритмов устроены так, что они обязаны выбрать один из вариантов. Если задача — разделить сигналы на «биологические» и «абиогенные», сумма вероятностей всегда равна 100%. Нейросеть не может сказать: «Я не знаю, это не похоже ни на что известное». Она начнет вычислять расстояние до известных классов. И даже слабое совпадение может перевесить чашу весов.

Решение есть. Вместо классификаторов, которые ищут признаки жизни, нужно использовать алгоритмы поиска аномалий. Они работают иначе:

• Изучают параметры всех известных неорганических процессов.
• При анализе новых данных не ищут жизнь, а вычисляют отклонение от нормы.
• Если отклонение превышает порог — помечают данные как аномалию для изучения человеком.

Это принципиально другой подход. Мы не ищем то, что знаем. Мы ищем то, что не вписывается в известные рамки.

Резюме от автора

Эксперимент с Avida — это не про слабость ИИ. Это про нашу самонадеянность. Мы пытаемся найти неизвестное, используя инструменты, которые умеют распознавать только известное. Это все равно что искать инопланетян, показывая им фотографии землян.

ИИ может быть мощным фильтром для первичной обработки данных. Он способен перебрать терабайты информации быстрее любого человека. Но финальное решение должен принимать человек. Потому что только человек умеет сомневаться. Только человек может сказать: «Это выглядит странно. Давайте проверим еще раз».

Поиск внеземной жизни — это не тест на узнавание. Это процесс исследования абсолютно неизвестного. И на этом пути главным инструментом остается способность разума пересматривать собственные основания. Компьютеры этого не умеют. И хорошо, что не умеют.

По материалам: iXBT