Все современные ИИ провалили новый сложный тест на общий интеллект — люди с ним тоже справились не идеально
Новый тест на общий интеллект для искусственного интеллекта, ARC-AGI-2, показал, что самые передовые модели, включая o1-pro от OpenAI и R1 от DeepSeek, справляются с заданиями лишь на 1–1,3%. Модели без продвинутого логического вывода, такие как GPT-4.5, Claude 3.7 Sonnet и Gemini 2.0 Flash, и вовсе показали результат менее 1%. Эти цифры разбивают иллюзию о скором появлении сильного ИИ, демонстрируя пропасть между машинным обучением и способностью человека адаптироваться к новым условиям.
В то время как технологии генерации текста и изображений стремительно развиваются, фундаментальная проблема — способность к абстрактному мышлению и решению незнакомых задач — остается нерешенной. Новый бенчмарк ARC-AGI-2, разработанный некоммерческим фондом Arc Prize Foundation, призван не просто оценить модели, а выявить их главную слабость: неумение мыслить гибко.
Головоломки, которые ставят в тупик нейросети
В отличие от стандартных тестов, основанных на накопленных данных, ARC-AGI-2 предлагает ИИ визуальные головоломки. Система должна распознать закономерность в расположении разноцветных квадратов и предсказать следующий шаг узора. Ключевая особенность — каждая задача уникальна. Модели запрещено полагаться на запоминание или поиск похожих примеров в обучающей выборке. Им приходится интерпретировать паттерны «на лету», что является отличительной чертой человеческого интеллекта.
Для сравнения: группа из 400 человек, прошедшая тот же тест, в среднем дала 60% правильных ответов. Этот разрыв подчеркивает, что современные нейросети, несмотря на впечатляющие успехи в узких областях, пока не способны к настоящей адаптации и пониманию новых концепций.
Почему предыдущие успехи оказались обманчивы
Предыдущая версия теста, ARC-AGI-1, долгое время оставалась эталоном. Однако в декабре 2024 года модель o3 от OpenAI смогла сравняться с человеком по точности. Этот прорыв был воспринят как шаг к общему искусственному интеллекту. Разработчики ARC-AGI-2 учли этот опыт и выявили недостаток: o3 добилась рекорда, используя «метод грубой силы» и колоссальные вычислительные мощности для перебора вариантов.
В новом тесте введена метрика эффективности, которая лишает модели этого преимущества. Как отметил сооснователь фонда Грег Камрадт, настоящий интеллект определяется не только способностью решить задачу любой ценой, но и эффективностью, с которой эти способности приобретаются и применяются. ARC-AGI-2 заставляет ИИ думать, а не просто перебирать.
Конкурс на $0,42: новый вызов для разработчиков
Фонд объявил о запуске конкурса Arc Prize 2025. Условия жесткие: разработчикам предлагается создать модель, способную достичь 85% точности на ARC-AGI-2. При этом стоимость вычислений на одну задачу не должна превышать $0,42. Это требование напрямую бьет по текущей парадигме, где прогресс часто достигается за счет наращивания вычислительных ресурсов.
Разработка ARC-AGI-2 совпала с растущей обеспокоенностью в индустрии по поводу отсутствия объективных критериев для оценки ИИ. Многие модели показывают блестящие результаты в бенчмарках, но проваливаются в реальных сценариях, требующих логики и адаптации.
Пока что ни одна система не приблизилась к заветной планке. Результаты моделей-лидеров (1-1,3%) показывают, что путь к созданию по-настоящему «думающего» ИИ только начинается. Человеческий мозг, способный решать 60% задач без специальной подготовки, по-прежнему остается недосягаемым эталоном для алгоритмов, демонстрируя, что интеллект — это не только вычисления, но и гибкость мышления.
