OpenAI не удаётся доделать GPT-5 Orion — обучение обходится дорого, а данных не хватает
Разработка долгожданного ИИ нового поколения от OpenAI, известного под кодовым именем Orion (будущая GPT-5), столкнулась с серьезными препятствиями. Проект, длящийся уже 18 месяцев, буксует из-за фундаментальной проблемы: глобальной нехватки качественных данных для обучения. Два масштабных тренировочных запуска не дали ожидаемого скачка производительности, ставя под сомнение окупаемость инвестиций, которые могут превысить $500 млн только за вычислительные мощности.
Почему «умный старшеклассник» не становится «доктором наук»
Ключевая задача для Orion — превзойти уровень GPT-4, который сравнивают со способностями старшеклассника. От новой модели ждут эрудиции на уровне доктора наук: способности совершать научные открытия, бронировать билеты и, что критически важно, сомневаться в собственных ответах, снижая уровень «галлюцинаций» (выдачи ложной информации). Однако, как признают в компании, четких критериев для оценки «достаточной продвинутости» не существует. Финальный вердикт выносится интуитивно, что превращает разработку больших языковых моделей из науки в искусство.
Дефицит данных и дорогостоящие эксперименты
Для того чтобы сделать Orion умнее, стандартных массивов данных — книг, статей и сообщений из соцсетей — оказалось недостаточно. OpenAI пошла на крайние меры: наняла специалистов, включая физиков-теоретиков, для ручной генерации уникальных обучающих примеров с пошаговыми решениями сложных задач. Этот процесс идет медленно и непропорционально дорого. Параллельно компания экспериментирует с синтетическими данными, создаваемыми другой своей моделью — o1, однако такие циклы обратной связи рискуют привести к сбоям и «бессмысленным» ответам.
Гонка с конкурентами и внутренние конфликты
К началу 2024 года давление на OpenAI возросло. Конкуренты, в частности Anthropic с моделью Claude 3, по ряду оценок обошли GPT-4. Проект Orion застопорился, и ресурсы компании пришлось перераспределить на выпуск облегченных версий GPT-4 и генератора видео Sora. Это создало внутреннюю конкуренцию за ограниченные вычислительные мощности между командами, работающими над разными продуктами. Ситуация усугубилась тем, что рынок ИИ стал настолько конкурентным, что компании засекречивают свои исследования, а разработчики избегают работы в публичных местах, опасаясь промышленного шпионажа.
Последний крупный запуск Orion, начавшийся в мае 2024 года, выявил новую проблему: собранные данные оказались недостаточно диверсифицированными. Этот недостаток проявился только после начала полномасштабного, многомесячного процесса, когда менять что-либо было уже поздно и слишком затратно. Исследователи сейчас пытаются найти способы «докормить» модель более широким спектром информации.
Параллельно с Orion в OpenAI делают ставку на новый подход — «рассуждение» (reasoning). Модель o1, построенная на этом принципе, генерирует несколько ответов на запрос и выбирает лучший. Однако, по мнению критиков, такие системы лишь имитируют логику, интерпретируя известные данные, и «ломаются» при малейшем изменении условий задачи. Кроме того, стоимость таких рассуждений экспоненциально высока: по словам научного сотрудника OpenAI Ноама Брауна, затраты на 20 секунд «размышлений» в партии в покер эквивалентны обучению модели, которая в 100 000 раз больше и дольше.
Октябрьский раунд финансирования OpenAI при оценке в $157 млрд во многом держался на обещаниях генерального директора Сэма Альтмана о «значительном скачке» с выходом GPT-5. Задержки с Orion создают риск того, что эти ожидания не оправдаются, а триллионные вложения всей индустрии в ИИ могут оказаться под вопросом. Проблема нехватки данных и нелинейного роста затрат на обучение становится главным тормозом для всего рынка, заставляя искать альтернативные пути развития, такие как «рассуждающие» модели, которые пока не доказали свою универсальность и экономическую эффективность.
