Исследователи из Uber AI Labs и OpenAI разработали алгоритм, который играет лучше человека в игру «Месть Монтесумы» (Montezuma’s Revenge). Эта игра вышла в 1983 году, но до сих пор ИИ с ней справиться не мог. В университете Осаки обучили нейросеть искать оптимальный состав для фотоэлементов. Компания D-ID разработала нейросеть, создающую короткий видеоролик по единственной фотографии.
https://youtu.be/wOyz_8mgUME
Искусственный интеллект понемногу осваивает хаос реального мира
Игры для компьютера Atari были популярны в 80-ые годы. Потом они были забыты, а сегодня привлекают большое внимание разработчиков нейросетей. Не то, чтобы эти крутые программисты любят в них играть (это, впрочем, не исключено), но эти игры оказались крайне интересны для обучения нейросетей. В декабре много шума наделала нейросеть MuZero, ее разработало подразделение компании Google - DeepMind. Сеть научилась играть во многие игры Atari, не зная их правил: она просто смотрела, что происходит, и пыталась играть хорошо. Например, MuZero великолепно играет в Арканоид. Это был один из первых случаев обучения «с нуля». Хаос удалось немного структурировать, правда, в очень простом случае.
Команда разработчиков из Uber AI Labs и OpenAI опубликовала в Nature алгоритм, играющий в гораздо более сложные (платформенные) игры Atari: Montezuma’s Revenge («Месть Монтесумы») и Pitfall («Ловушка»). Если в «Месть Монтесумы» другие алгоритмы еще как-то могли играть, то в «Ловушку» не удавалось набрать даже 1 очко. Проблема этих игр в неопределенности при обучении. В «Мести Монтесумы» персонаж собирает сокровища, блуждает по лабиринту, решает загадки, ищет ключи, использует факелы, мечи, амулеты. Ему постоянно угрожают черепа, змеи и пауки. В такой игре не очень ясно, как использовать обучение с подкреплением, поскольку правильных путей может быть несколько, а препятствия имеют случайный характер. В нее гораздо труднее обучаться играть «с нуля», как, например, в Арканоид. Но исследователи справились, и алгоритм превзошел человека в "Мести Монтесумы». (В «Ловушку» играть нейросеть тоже умеет, правда, пока не так удачно). Алгоритм назвали Go-Explore — «Беги-и-Исследуй» (или даже «Исследуй на ходу», что довольно точно соответствует его работе). Оказалось, что очень помогает «знание предметной области». Если алгоритм сначала «читал инструкцию», а потом играл — результаты были лучше в разы. В общем, читать инструкцию полезно и нейросети, и человеку. Она действительно сокращает «опыты быстротекущей жизни».
Игрушки это, конечно, хорошо, но нейросети решают и вполне прикладные задачи. Химики и материаловеды при конструировании новых материалов, которые должны отвечать определенным условиям и целям, имеют дело со сравнительно небольшим количеством элементов (таблица Менделеева) и практически неисчерпаемым количеством соединений. В университете Осаки попробовали использовать нейросеть для создания идеального фотоэлемента для солнечной батареи. Они обучили сеть работать с определенным набором соединений — их перебирать и отыскивать лучшее сочетание. Причем «что такое лучшее» сети доходчиво (алгоритмически) объяснили. После виртуального перебора более 200 тысяч материалов-кандидатов, ученые синтезировали один из самых многообещающих (с точки зрения нейросети) и обнаружили, что его свойства соответствуют их предсказаниям. Метод сработал.
Подпишись: