ИИ не глупеет от большого количества информации, а просто ленится: Как заставить машину рассуждать, а не просто вспоминать?

Новое исследование выявило парадоксальную закономерность: чем больше данных получают современные языковые модели, тем хуже они справляются с задачами, требующими многоступенчатых рассуждений. Вместо углубленного анализа нейросети начинают «срезать углы», генерируя более короткие цепочки умозаключений. Этот эффект особенно заметен у моделей с открытым исходным кодом, тогда как коммерческие аналоги демонстрируют большую устойчивость к информационному шуму.

Исследователи из нескольких университетов разработали усложненную версию классического теста «Иголка в стоге сена». Вместо поиска одного факта модели требовалось найти несколько связанных между собой «иголок» и выстроить из них логическую цепочку. Результаты оказались неожиданными: при увеличении объема отвлекающей информации точность ответов многих LLM начинала снижаться. После фильтрации вопросов, на которые модель могла ответить из собственных знаний, падение точности стало еще более драматичным.

Корень проблемы: длина мыслительного процесса

а нейросеть начинала генерировать более короткие цепочки рассуждений, жертвуя глубиной анализа в пользу скорости. Это напоминает поведение человека, который пытается быстрее закончить анализ объемного отчета, пропуская промежуточные шаги.

Метод итеративного мышления

а стало менее выраженным.

Дообучение как инструмент

Наиболее впечатляющих результатов удалось добиться при дообучении модели Llama-3-8B-ProLong на примерах итеративного мышления, сгенерированных GPT-4o. Падение точности при переходе от коротких к длинным текстам сократилось с 25.8% до 4.6%. Более того, полученный навык «глубокого мышления» оказался универсальным: дообученная модель продемонстрировала улучшенные результаты при решении математических олимпиадных задач, превзойдя базовую версию GPT-4o.

а однозначно улучшает производительность ИИ. Однако данное исследование переворачивает это представление, демонстрируя, что без специальных механизмов контроля глубины рассуждений модели склонны к когнитивным упрощениям. Метод итеративного мышления и дообучение на примерах многоступенчатого анализа открывают путь к созданию систем, способных сохранять качество рассуждений вне зависимости от объема обрабатываемой информации.