Как устроены языковые модели и почему LLM выглядят разумными

Почему языковые модели так и не стали умными: разбор иллюзии интеллекта

LLM пишут связные тексты, рассуждают, объясняют — вроде бы почти как человек. Но стоит задать вопрос, требующий точности, и начинаются проблемы. Ошибки, галлюцинации, потеря логики. В этой статье я разберу, как на самом деле устроены языковые модели и почему их «интеллект» — это просто удачная имитация.

Как статистика притворяется мышлением

Основа любой LLM — задача предсказания следующего токена. Модель смотрит на контекст и угадывает, какое слово или символ будет дальше. Всё обучение сводится к тому, чтобы повысить вероятность правильного угадывания. Никакого модуля рассуждений, логического вывода или понимания смысла внутри нет.

Это инженерный компромисс. В 2010-х стало ясно: экспертные системы с чёткими правилами не масштабируются. А статистический подход — больше данных, больше параметров — даёт результат. Архитектура Transformer (2017 год) позволила обрабатывать текст параллельно, а не последовательно. Это резко ускорило обучение и удешевило вычисления.

Модель обучается на миллиардах примеров человеческих текстов. Она видит, как люди объясняют, спорят, делают выводы. И начинает воспроизводить эти формы — не потому что понимает, а потому что статистически это самое вероятное продолжение. То, что мы воспринимаем как мышление, на деле — результат сжатия языка.

Все современные LLM оптимизируются под одну функцию потерь — вероятность следующего токена. В модели нет механизма проверки истинности.

Где именно ломается «разумность»

Пока задача укладывается в привычные шаблоны, модель выглядит убедительно. Но как только требуются причинно-следственные связи или работа за пределами «хвостов» распределения, начинаются сбои.

Галлюцинации — не баг, а фича. Модель не отличает ситуацию, когда она опирается на надёжные знания, от той, где просто угадывает. Если ответ правдоподобен по форме, она его выдаст. В сложных аналитических запросах доля галлюцинаций может превышать 20–30% без внешней проверки.

Причинность. LLM знают, как люди обычно объясняют причины и следствия, но не строят внутренней причинно-следственной модели мира. Для прогнозов и оценки последствий это катастрофа. Статистическое сходство — плохая замена пониманию.

Длинный контекст. Большое окно ввода не делает модель умнее. Каждый новый токен увеличивает шум. Чем длиннее запрос, тем выше вероятность, что логическая нить потеряется. Модель начинает «плыть» и заменять рассуждение знакомым шаблоном.

Отсутствие памяти. Контекст — это временный буфер. После завершения запроса он исчезает. Модель не помнит собственных ошибок, не исправляет стратегию. Если ошибка случилась в начале многошаговой задачи, она проявится только в финале.

Личное наблюдение автора. Недавно я задал модели задачу из школьной физики: «Тело брошено под углом 30°, начальная скорость 10 м/с, найти дальность полёта». Она выдала уверенное решение с формулой, но в ответе была ошибка в расчётах почти вдвое. На вопрос «почему?» — извинилась и дала другой, тоже неверный ответ. Формально — связно и похоже на правду. По сути — пустышка.

Потолок масштабирования

Несколько лет все шли по простому пути: больше данных, больше параметров, больше вычислений. Работало. Но сегодня у этого рецепта появились пределы.

Данные. Качественные тексты на английском — основной источник — исчерпаются в ближайшие годы. Уже сейчас индустрия переходит на синтетические данные, сгенерированные другими моделями. Это ещё больше усредняет знания. Редкие идеи и нестандартные формулировки, в которых часто и живут прорывы, исчезают. Модель становится гладкой, но менее содержательной.

Экономика. Каждая новая крупная модель стоит в разы дороже предыдущей. Прирост качества в тестах уже не такой заметный. В реальных задачах он часто теряется в шуме. Бизнес начинает сомневаться в окупаемости.

Архитектура. Масштабирование не добавляет причинно-следственного мышления, памяти или проверки истинности. Модель просто лучше делает то, что уже умела. Дальнейший прогресс требует новых архитектурных решений, а не просто наращивания параметров.

Качественные англоязычные текстовые данные для обучения LLM будут исчерпаны в ближайшие несколько лет. Синтетика не спасет — она лишь усредняет картину мира.

Резюме от автора

Языковые модели — мощный инструмент для работы с уже накопленным знанием. Они помогают быстро войти в тему, найти связи, сформулировать аргументы. Но доверять им в задачах, где нужна точность и логика, — ошибка. Они не рассуждают, а угадывают. И пока в архитектуре не появятся встроенные механизмы причинности и проверки, «интеллект» LLM останется внешним эффектом. Не ведитесь на форму — проверяйте содержание.