Как устроены языковые модели и почему LLM выглядят разумными

LLM (Большие языковые модели) пишут связные тексты, уверенно объясняют сложные темы, поддерживают диалог и часто демонстрируют структуру рассуждений, похожую на человеческую. Часто этого оказывается достаточно, чтобы воспринимать их как интеллектуальные системы. Именно это сходство с привычными формами мышления и породило разговоры о почти достигнутом универсальном интеллекте.

Проблема в том, что при всей внешней убедительности такие модели регулярно сбиваются там, где человек редко допускает ошибку. Они путаются в фактах, уверенно выдают неверные выводы, теряют нить рассуждений в сложных заданиях и ломаются при небольшом изменении условий. И эти ограничения, как выясняется, заложены в самой природе этих систем.

Как инженерный компромисс превратился в иллюзию интеллекта

История искусственного интеллекта начиналась с несколько других подходов. Первые системы строились на четких правилах, логике и экспертных знаниях. Предполагалось, что интеллект можно описать как набор формализованных алгоритмов и условий. Если их достаточно подробно задать, машина будет рассуждать «правильно».

Но такой подход быстро уперся в ограничения. Экспертные системы плохо масштабировались. Они переставали работать при малейшем отклонении от заранее описанных сценариев и требовали постоянного ручного «допиливания». Каждое новое исключение увеличивало сложность алгоритмов.

Машинное обучение оказалось проще и практичнее. Вместо того чтобы описывать опыт через формулы и алгоритмы, модели начали учить на примерах. Не было необходимости разбираться почему так и правильно ли само решение. Важна была сама возможность воспроизвести подобное решение на новых данных.

В тестах на логическое рассуждение модели могут показывать точность выше 80%, но при минимальном переформулировании условия результат падает в 2–3 раза.

Этот подход оказался удивительно устойчивым. Чем больше данных и вычислений, тем лучше результат. Ошибки не устранялись вручную, а сглаживались статистически. Система не понимала, что делает, но все чаще делала это правильно. Чем больше данных, тем больше вероятность воспроизведения «правильного» результата. Все ведь не могут ошибаться. Или могут?

Прорыв 2010-х был связан именно с этим. Появились большие датасеты, доступные вычислительные мощности и архитектуры, которые позволили эффективно обучать модели на огромных объемах информации. Никакого нового понимания интеллекта при этом не возникло. Это была просто победа инженерной мысли.

Язык оказался идеальной средой для такого обучения. Люди десятилетиями описывали в текстах науку, технологии, экономику, право и повседневную жизнь. Интернет превратился в почти бесконечный источникданных, где знания уже упакованы в удобной для обучения форме. Модель могла учиться сразу на результатах человеческого мышления, минуя физический мир, эксперименты и взаимодействие с реальностью. Не нужно понимать, как устроен процесс, достаточно оценить, как его принято описывать и объяснять.

Но тут мы и упираемся в фундаментальное ограничение. Язык не равен реальности. Это ее проекция, отражение и интерпретация. В текстах зафиксировано то, как люди понимают и объясняют мир, а не сам мир со всеми его причинно-следственными связями, противоречиями и исключениями. Большие языковые модели учатся не на реальных процессах, а всего лишь на их описаниях. Это дает широту знаний, но не гарантирует глубины понимания.

Модели стали учитывать контекст целиком, а не обрабатывать текст последовательно, как это делали более ранние нейросети. Это резко улучшило качество работы с длинными фрагментами текста и сложными связями между словами.

Архитектура Transformer, предложенная в 2017 году, позволила отказаться от последовательной обработки текста и перейти к параллельному обучению. Это резко снизило стоимость масштабирования и открыло путь к моделям с десятками миллиардов параметров.

Так и возникла иллюзия интеллекта. Модель, обученная на языке и способная учитывать широкий контекст, начала воспроизводить формы человеческого рассуждения.

Как предсказание текста создает иллюзию мышления

В основе любой большой языковой модели лежит предельно простая задача. Модель учат угадывать, какой фрагмент текста должен идти следующим. На этапе обучения системе показывают огромные массивы текстов и на каждом шаге штрафуют за неправильное предсказание следующего токена. Вся архитектура, все параметры и все вычисления оптимизируются под эту единственную цель.

У модели нет отдельного модуля рассуждений, логического вывода или понимания смысла. Есть только вероятность того, какой токен лучше продолжит заданный контекст. Когда модель видит миллиарды примеров того, как люди рассуждают, объясняют, спорят, делают выводы и сомневаются, она начинает воспроизводить эти формы. И это не результат понимания содержания, а всего лишь отработанный механизм угадывания продолжения последовательности. То, что мы воспринимаем как мышление, на деле оказывается результатом статистического сжатия языка.

Все современные LLM оптимизируются под одну функцию потерь — вероятность следующего токена. В модели нет отдельного механизма логического вывода или проверки истинности.

Модель не рассуждает в человеческом смысле слова. Она не строит внутренний план решения, не проверяет его на логическую корректность и не возвращается к предыдущим шагам, если что-то пошло не так. Она просто шаг за шагом генерирует токены, каждый раз выбирая наиболее вероятное продолжение с учетом контекста.

Большая языковая модель может знать очень многое и при этом не знать ничего точно. Знания в ней не хранятся в виде отдельных фактов, как в базе данных. Они распределены по весам и проявляются только в процессе генерации ответа. В модели нет места, где записано утверждение вроде «Париж — столица Франции». Есть лишь конфигурация параметров, которая делает такое продолжение наиболее вероятным.

Нельзя добавить или удалить отдельный факт из обученной языковой модели без её переобучения или дообучения на большом объеме данных.

После базового обучения модели дополнительно обучили работе с запросами человека. Их настраивали на следование инструкциям, понятную структуру ответов и ожидаемый стиль общения, что заметно повысило практическую полезность результатов. Пользователь получил ощущение, что перед ним не просто генератор текста, а собеседник.

Но и у этого подхода есть обратная сторона. Модель учат соответствовать ожиданиям человека, а не проверять истинность своих ответов. Система привыкает отвечать даже там, где не уверена, и делать это в убедительной форме. Она не умеет сказать «я не знаю», потому что в обучении за это почти не награждают.

Так возникает эффект уверенного эксперта, который не отвечает за свои слова, и может убедительно нести чушь. Именно поэтому языковые модели так хорошо пишут, объясняют и резюмируют, и именно поэтому им нельзя безоговорочно доверять в задачах, где важна точность, логичность и достоверность данных.

Почему языковые модели не совершают научных прорывов

Большие языковые модели производят впечатление эрудированных собеседников. Они легко пересказывают научные теории, доступно формулируют гипотезы, понятно объясняют сложные концепции и даже предлагают на первый взгляд интересные идеи. Но при этом от них трудно ждать настоящих научных открытий. Причина здесь не в осторожности разработчиков и не в нехватке вычислительных ресурсов. Она заложена в самом принципе обучения таких систем.

LLM учатся на том, что уже было написано. Их обучающий материал — это прошлый человеческий опыт, зафиксированный в текстах. Научные статьи, обзоры, учебники, дискуссии, любой опубликованный текст. Все это уже прошло фильтр коллективного мышления и в той или иной форме стало частью нашего интеллектуального ландшафта. Даже спорные идеи попадают в модель не как экспериментальные гипотезы, а как тексты в которых их обсуждают, критикуют или отвергают.

Модель нацелена на воспроизведение наиболее вероятных продолжений. А наиболее вероятным почти всегда оказывается то, с чем согласно большинство источников или что чаще всего встречается в данных. В результате языковая модель естественным образом тянется к усредненной позиции. Она хорошо формулирует консенсус, аккуратно воспроизводит общепринятые объяснения и уверенно пересказывает устоявшиеся теории. Но за пределами этого поля ее надежность резко падает.

В исследовании Nature Human Behaviour показано, что научные прорывы статистически чаще возникают в работах, отклоняющихся от доминирующего консенсуса.

Научные же прорывы часто начинаются с идей, которые выглядят странно, спорно или прямо противоречат принятым представлениям. История науки полна примеров, когда новые гипотезы долго считались ошибочными и бессмысленными. Такие идеи редко представлены в данных в устойчивом и повторяющемся виде. А значит, для языковой модели они статистически маловероятны.

Человек в научном поиске может сознательно идти против общепринятых понятий и теорий, опираясь на интуицию, физическое понимание процесса или эксперимент. Он может принять риск ошибки как часть работы. Языковая модель так не умеет. Она не различает рискованную гипотезу и просто плохое предположение. Для нее это одинаково маловероятные продолжения.

LLM плохо работают за пределами распределения, то есть в ситуациях, которые существенно отличаются от базового обучающего материала. В науке это нормальное состояние. Новый эксперимент, неожиданный результат, комбинация факторов, которая раньше не встречалась. Человек в таких условиях может попробовать изменить модель мира, пересобрать гипотезу или признать, что прежние объяснения больше не работают. Языковая же модель вынуждена искать ближайший знакомый шаблон и продолжать его, даже если он плохо описывает новую ситуацию.

В результате LLM оказываются отличным инструментом для работы с уже накопленным знанием. Они помогают быстро войти в тему, увидеть связи между теориями, сравнить подходы и аккуратно сформулировать известные аргументы. Это мощный инструмент для анализа и обзора литературы. Но ожидать от них самостоятельных научных открытий — значит требовать от статистического механизма того, для чего он не предназначен. Языковые модели хорошо сжимают прошлое. Создавать будущее им значительно сложнее.

Где именно ломается «разумность»

Пока задача укладывается в привычные шаблоны, большие языковые модели выглядят вполне убедительно. Они уверенно пересказывают, аккуратно обобщают и логично объясняют. Но как только требования выходят за рамки последовательного воспроизведения уже знакомых форм, начинают проявляться системные сбои.

Самый заметный симптом — галлюцинации. Их часто описывают как ошибки или следствие недостаточного обучения, но на деле это базовое свойство архитектуры. Модель не умеет различать ситуации, где она действительно опирается на надежные знания, и те, где она лишь угадывает правдоподобное продолжение. Для нее нет принципиальной разницы между «я знаю» и «это выглядит похоже на правильный ответ».

Доля галлюцинаций в сложных аналитических запросах может превышать 20–30% без внешней проверки.

Даже если модель не уверена, она все равно продолжает генерировать ответ. И делает это в привычной уверенной форме. Именно это делает галлюцинации особенно опасными в прикладных задачах. Пользователь видит связный и внешне логичный ответ и не замечает, что система начала угадывать, а не опирается на проверенные знания.

Вторая проблема связана с построением причинно-следственных связей. Языковые модели хорошо знают, как люди обычно объясняют причины и следствия. Они воспроизводят знакомые схемы аргументации, формулируют связи и выводы, используют привычный научный или аналитический язык. Но при этом они не строят внутреннюю причинно-следственную модель мира. Они лишь знают, какие объяснения чаще всего встречаются рядом с подобными описаниями.

Для задач прогнозирования, планирования и оценки последствий это критично. Там, где требуется понять, что именно изменится при новом вводе, статистическое сходство перестает быть надежным инструментом.

Отдельно стоит отметить работу с длинным контекстом. Расширение окна ввода часто воспринимается как рост интеллектуальных возможностей. На практике все сложнее. Каждый новый токен увеличивает не только объем информации, но и уровень шума. Модели становится все труднее удерживать связи между удаленными фрагментами и отличать главное от второстепенного.

Поиск по контексту и извлечение нужных фрагментов остаются сильной стороной. Модель легко может найти нужную цитату или связанный абзац. А вот рассуждение на основе длинного ввода деградирует. Чем больше текста, тем выше вероятность, что логическая нить будет потеряна или подменена более знакомым шаблоном.

Еще одна проблема проявляется в задачах, которые требуют времени и последовательности. Контекст для языковой модели — это временный буфер, а не память. После завершения запроса он исчезает. Модель не накапливает опыт, не запоминает собственные ошибки и не корректирует стратегию по итогам работы. Если ошибка произошла в начале многошаговой задачи, она может проявиться только в финале, когда исправлять уже поздно.

В совокупности эти ограничения объясняют, почему увеличение контекста, исходных параметров и различных вычислений не приводит к линейному росту надежности. Большой контекст не делает модель умнее. Он только делает задачу сложнее. И пока в архитектуре не появятся встроенные механизмы проверки, памяти и причинно-следственного анализа, эффект «разумности» будет оставаться внешним, а не внутренним свойством системы.

Потолок масштабирования

Несколько лет развитие языковых моделей шло по простому и на первый взгляд безотказному рецепту. Больше данных, больше параметров, больше вычислений. Этот подход действительно работал. Каждое новое поколение моделей ощутимо улучшало качество, расширяло возможности и снижало количество грубых ошибок. Но сегодня становится все очевиднее, что у масштабирования есть пределы. Причем сразу по нескольким направлениям.

Первое ограничение связано с данными. Большие языковые модели учатся на человеческом опыте, зафиксированном в текстах. Этот ресурс не бесконечен. Важен не только объем, но и качество, разнообразие и глубина. На ранних этапах можно было использовать почти все подряд. Интернет давал колоссальный объемзнаний, мнений и объяснений. Со временем ситуация изменилась. Лучшие источники уже включены в обучение. Новые данные либо повторяют старые, либо имеют более низкое качество.

По оценкам исследователей, качественные англоязычные текстовые данные для обучения LLM будут исчерпаны в ближайшие несколько лет.

На этом фоне индустрия обратилась к синтетическим данным. Модели начали дообучать на текстах, сгенерированных другими моделями. Пока это дает эффект увеличения объема данных и небольшогоулучшения отдельных показателей. Но синтетический контент еще больше усредняет картину мира. Из него постепенно исчезают редкие знания, нестандартные формулировки и нетипичные идеи. Теряются те самые «хвосты» распределения. А именно там часто и живут научные и технологические прорывы. В результате модель становится все более гладкой, но все менее содержательной по смыслу.

Второе ограничение связано с экономикой. Каждая новая версия крупной модели стоит кратно дороже предыдущей. Растут расходы на обучение, инфраструктуру, энергию и обслуживание. При этом прирост качества уже так не ощущается. В реальных задачах она растворяется в шуме входных данных и ограничениях применения.

Возникает вопрос окупаемости. Если модель показывает небольшой рост качества в тестах, но требует на порядок больше ресурсов, бизнес начинает уже оценивать целесообразность таких расходов. Особенно в прикладных сценариях, где важнее надежность, предсказуемость и стоимость владения.

Есть и третий, менее очевидный потолок. Даже при наличии данных и вычислений масштабирование не решает архитектурных ограничений. Оно не добавляет причинно-следственного мышления, долговременной памяти или встроенной проверки истинности. Модель становится лучше в том, что уже умеет, но не приобретает принципиально новых свойств.

Дальнейшее развитие языковых моделей требует не столько большего количества параметров, сколько новых идей и новых архитектурных решений.