OpenAI не удаётся доделать GPT-5 Orion — обучение обходится дорого, а данных не хватает

OpenAI отстаёт от графика разработки флагманской модели искусственного интеллекта последней версии — она получит название GPT-5, а пока проходит под кодовым именем Orion. Компания занимается этим уже 18 месяцев, пытаясь выйти на желаемый результат, но терпит неудачи — во всём мире не хватает данных, чтобы сделать модель достаточно умной, пишет Wall Street Journal.

Источник изображения: Mariia Shalabaieva / unsplash.com

OpenAI провела как минимум два больших учебных запуска, каждый из которых предполагает несколько месяцев обработки данных с целью доделать Orion. Всякий раз возникали новые проблемы, и система не давала результатов, на которые надеялись исследователи. В теперешнем виде Orion работает лучше существующих систем OpenAI, но, по версии разработчиков, она недостаточно продвинулась, чтобы оправдать огромные затраты на поддержание новой модели в рабочем состоянии. Обучение продолжительностью шесть месяцев может обойтись примерно в $500 млн только на вычислительные затраты.

Два года назад OpenAI и её гендиректор Сэм Альтман (Sam Altman) произвели фурор с выпуском ChatGPT. Тогда казалось, что ИИ проникнет во все аспекты жизни современного человека и существенно её улучшит. Аналитики предсказали, что в ближайшие годы затраты технологических гигантов на ИИ составят до $1 трлн. Самая большая ответственность возлагается на OpenAI, которая и породила бум ИИ.

Октябрьский раунд финансирования компании проводился при оценке $157 млрд — не в последнюю очередь из-за того, что Альтман пообещал «значительный скачок вперёд» по всех областях и задачах с GPT-5. Модель, как ожидается, будет совершать научные открытия и с лёгкостью выполнять повседневные человеческие задачи, такие как запись на приём и бронирование билетов на самолёт. Исследователи также надеются, что она научится сомневаться в собственной правоте и станет реже «галлюцинировать» — прекратит уверенно давать не соответствующие действительности ответы.

Если принять, что GPT-4 действует на уровне умного старшеклассника, то от GPT-5 в отдельных задачах ждут уровня доктора наук. Чётких критериев определить, достойна ли модель нового поколения называться GPT-5, не существует: системы тестируются на задачах по математике и программированию, но окончательный вердикт исследователи выносят на интуитивном уровне, и этого до сих пор не произошло. Про разработку больших языковых моделей говорят, что это не только наука, но и искусство.

Источник изображения: Growtika / unsplash.com

Тестирование моделей производится во время тренировочных запусков — продолжительных периодов, в которые им отправляются триллионы токенов, то есть фрагментов слов. Крупный тренировочный запуск может потребовать нескольких месяцев работы дата-центров и десятков тысяч ИИ-ускорителей Nvidia. Обучение GPT-4, по словам Альтмана, обошлось в $100 млн; как ожидается, обучение будущих моделей будет стоить дороже $1 млрд. Неудачный тренировочный запуск в чём-то схож с неудачным испытанием ракеты. Исследователи стараются снижать вероятность таких неудач, проводя эксперименты в меньших масштабах — пробные запуски перед полномасштабными.

В середине 2023 года OpenAI провела пробный учебный запуск, который стал тестом для вероятной архитектуры Orion — особых результатов эксперимент не принёс: стало ясно, что полномасштабный учебный запуск займёт слишком много времени и обойдётся очень дорого. Результаты проекта Arrakis показали, что создание GPT-5 пойдёт не так гладко, как надеялись исследователи. Они начали вносить некоторые технические изменения, чтобы усилить Orion, и пришли к выводу, что потребуется большой объём разнообразных высококачественных данных, и информации из общедоступного интернета может не хватить.

Модели ИИ, как правило, становятся умнее по мере того, как поглощают большие объёмы данных — обычно книг, академических публикаций и других заслуживающих доверия источников, которые помогают ИИ выражаться более чётко и справляться с широким спектром задач. При обучении предыдущих моделей OpenAI не пренебрегала и другими источниками, такими как новостные статьи и даже сообщения в соцсетях. Но чтобы сделать Orion умнее, необходимы дополнительные источники данных, и их недостаточно. Тогда в компании решили создавать эти данные самостоятельно: наняли людей для написания кода и решения математических задач, которые давали пошаговые объяснения своих действий. OpenAI привлекла специалистов по теоретической физике, которые подготовили объяснения, какой подход они бы применили к решению сложнейших проблем в своей области.

Процесс идёт чрезвычайно медленно. GPT-4 была обучена на 13 трлн токенов — для сравнения, тысяча человек, которые пишут по пять тысяч знаков в день, сгенерировала бы миллиард токенов за несколько месяцев. Поэтому в OpenAI начали разрабатывать синтетические данные — заставлять другие системы ИИ генерировать данные для обучения нового ИИ. Но исследования показали, что циклы обратной связи между генерацией данных с помощью ИИ для ИИ грозят сбоями или бессмысленными ответами. Для устранения этой проблемы генерацию данных доверили другой модели — o1.

Источник изображения: Mariia Shalabaieva / unsplash.com

К началу 2024 года руководство OpenAI стало понимать, что сроки поджимают. GPT-4 исполнился год, конкуренты стали догонять, а новая модель Anthropic, по некоторым оценкам, её превзошла. Проект Orion застопорился, и OpenAI пришлось переключиться на другие проекты и приложения: вышли облегчённый вариант GPT-4 и генератор видео Sora. В результате возникла внутренняя конкуренция — за ограниченные вычислительные ресурсы состязались разработчики Orion и прочих продуктов.

Конкуренция же среди разработчиков ИИ ожесточилась до такой степени, что крупные технологические компании стали публиковать меньше статей о последних открытиях или прорывах, чем это принято в научном сообществе. На рынок хлынул поток денег, и корпорации стали рассматривать результаты исследований как коммерческую тайну, которую следует охранять. Дошло до того, что исследователи перестали работать в самолётах, кофейнях и других общественных местах, где кто-то мог заглянуть через плечо.

В начале 2024 года OpenAI подготовилась к очередной попытке запуска Orion, вооружившись более качественным набором данных. В течение нескольких первых месяцев года исследователи провели несколько небольших обучающих запусков, чтобы знать, в каком направлении работать дальше. К маю они решили, что готовы провести крупномасштабный запуск Orion, который должен был продлиться до ноября. Но уже на начальном этапе вскрылась связанная с данными проблема: они оказались менее диверсифицированными, чем ожидалось, что ограничило потенциальное качество обучения ИИ. Проблема не проявлялась в пробных проектах и стала очевидной только после того, как начался большой запуск — но к тому времени OpenAI потратила слишком много времени и денег, чтобы начинать всё заново. Исследователи попытались найти более широкий диапазон данных для передачи модели в процессе обучения, но до сих пор неясно, оказалась ли эта стратегия плодотворной.

Трудности с Orion указали OpenAI на новый подход к тому, как сделать большие языковые модели умнее — рассуждения. Способность к рассуждениям помогает ИИ решать сложные проблемы, которым он не обучался. Так устроена модель OpenAI o1 — она генерирует несколько ответов на каждый вопрос и анализирует их в поисках лучшего. Но и в этом уверенности пока нет: по мнению исследователей Apple, «рассуждающие» модели, вероятно, лишь интерпретируют полученные при обучении данные, но новых задач в действительности не решают. К примеру, если внести в условиях исходной задачи незначительные изменения, которые не имеют отношения к её решению, качество ответа ИИ резко падает.

Эти дополнительные интеллектуальные способности обходятся дорого: OpenAI приходится оплачивать генерацию нескольких ответов вместо одного. «Оказалось, что если бот думает всего 20 секунд в партии в покер, затраты возрастают так же, как если бы модель разрасталась в 100 000 раз и обучалась в 100 000 раз дольше», — рассказал научный сотрудник OpenAI Ноам Браун (Noam Brown). В основу Orion может лечь более продвинутая и эффективная модель, способная к рассуждениям. Исследователи компании придерживаются этого подхода и надеются объединить его с большими объёмами данных, честь из которых может поступать из других моделей ИИ, созданных OpenAI. Затем результаты её работы будут уточняться на материале, созданном людьми.