Сооснователь OpenAI Илья Суцкевер предупредил, что развитие ИИ экстенсивным методом себя изжило
Почему масштабирование ИИ заходит в тупик: честный разбор
Илья Суцкевер, один из основателей OpenAI, недавно дал интервью, которое всколыхнуло всю индустрию. Его тезис прост: эпоха, когда ИИ улучшали просто за счёт добавления данных и вычислительных мощностей, заканчивается. Дальше так не пойдёт. И я с ним абсолютно согласен — давайте разберёмся, почему.
Как мы дошли до такой жизни? (Экстенсивное развитие)
Последние пять лет все гнались за размером. Больше параметров — круче модель. GPT-3 — 175 миллиардов параметров. GPT-4 — уже под триллион. И что? Да, модель стала умнее. Но рост качества заметно замедлился. Если бы прогресс был линейным, мы бы уже имели AGI. А его нет.
Почему так? Суцкевер объясняет: мы используем экстенсивный подход — просто наращиваем ресурсы. Это удобно для бизнеса: понятный план, предсказуемый результат, не нужно много гениев-исследователей. Но это путь наименьшего сопротивления. И он упирается в потолок.
«Увеличение инфраструктуры в сто раз не даст качественного скачка. Нужны не ватты, а идеи». — Илья Суцкевер
Данные кончились. Серьёзно.
В интернете больше нет нетронутых текстов. Всё, что можно было собрать, — уже в обучающих корпусах. Дальше — синтетические данные, которые модели сами генерируют. Но это как пытаться поднять себя за волосы: качество быстро деградирует. По оценкам, к 2026 году резервуар чистых человеческих данных иссякнет полностью.
Личное наблюдение: недавно на одной конференции инженеры из крупной лаборатории жаловались, что каждая новая итерация даёт всё меньше прироста. Приходится увеличивать датасет в 2 раза, чтобы получить +1% точности. Это уже не развитие — это гонка с нулевой суммой.
Человек всё ещё умнее? Да, и сильно.
Суцкевер приводит блестящий пример. Опытный учёный обучает молодого коллегу: поясняет, обсуждает, показывает нюансы. Достаточно нескольких часов. Чтобы обучить такую же модель, нужно пропустить через неё миллионы примеров и формализовать каждый шаг. И результат всё равно хуже. Разрыв в эффективности обучения между человеком и ИИ — пропасть. И мы пока не знаем, как её сократить.
Это не значит, что ИИ бесполезен. Он отлично справляется с узкими задачами. Но путь к AGI лежит не через наращивание размера, а через глубокие исследования — новые архитектуры, алгоритмы, понимание принципов мышления.
Микро-инструкция: как отличить перспективное направление от хайпа
- Спросите про данные. Если проект кормит модель старыми датасетами без синтеза — это масштабирование в квадрате, а не прорыв.
- Посмотрите на метрики. Прирост качества ниже 10% после удвоения параметров? Значит, упёрлись в предел.
- Поищите архитектурные новинки. Не просто «больше слоёв», а новый тип внимания, разреженность, нейросимволический подход.
Сравнение: масштабирование vs глубокие исследования
| Критерий | Масштабирование | Глубокие исследования |
|---|---|---|
| Риск | Низкий, предсказуемый | Высокий, возможны тупики |
| Ресурсы | Огромные дата-центры, GPU | Умные головы, эксперименты |
| Результат | Линейное улучшение, потолок | Потенциально качественный скачок |
| Пример | GPT-4 → GPT-5 (ещё больше) | AlphaFold → открытие структуры белка |
Что делать? Мнение автора
Суцкевер создал стартап Safe Superintelligence именно для того, чтобы уйти от гонки масштабирования. Он делает ставку на фундаментальные исследования. Я считаю, это единственно верный путь. Мы не получим настоящий сильный ИИ, просто наваливая горы гигабайт. Нужна научная революция — новая математика, новый взгляд на обучение.
Пока индустрия разгоняет кластеры до экзаватт, несколько небольших групп пытаются понять, как мы вообще мыслим. Ставки высоки. Но, как показывает история, прорывы случаются там, где меньше шума и больше тишины.
Резюме от автора: Эра дампов данных заканчивается. Следующий шаг — не мегапараметры, а мега-идеи. Или мы рискуем застрять на плато.
