Учёные отделили память ИИ от его способности рассуждать — и вот что из этого вышло

Почему ИИ «запоминает» математику, а не решает её: честный разбор

Когда вы просите нейросеть посчитать 17 × 34, она не складывает в уме. Она вспоминает — примерно как школьник, заучивший таблицу умножения, но не понимающий сути умножения. Исследователи стартапа Goodfire нашли этому прямое доказательство. Они хирургически отключили у модели «память» — и математика рухнула, а логика осталась. Давайте разберёмся, что это значит для всех нас.

Память и рассуждения — это разные «отделы» мозга нейросети

Архитектура больших языковых моделей устроена сложнее, чем кажется. Goodfire взяли открытую модель OLMo-7B и начали копаться в её слоях. Выяснилось: участки, отвечающие за запоминание фактов, и участки, отвечающие за логику, чётко разделены. Удалили зоны памяти — модель на 97% потеряла способность воспроизводить выученное. Но при этом она продолжала решать логические задачи на уровне 95–106% от исходного.

Модель перестала помнить столицы стран, но не разучилась строить цепочки «если — то». Фантастика? Нет — инженерия.

Личное наблюдение: недавно я тестировал несколько чат-ботов на арифметику. Они отлично писали эссе, но на вопрос «сколько будет 1234 + 5678» выдавали дичь. Теперь понятно — они пытались вспомнить эту сумму из обучающих данных, а не вычислить.

Как учёные «выключали» память — метод K-FAC

Они использовали концепцию «ландшафта потерь». Представьте, что у модели миллионы ручек-регуляторов (весов). Каждая комбинация ручек даёт определённое количество ошибок. Обучение — это спуск в долину с минимальными ошибками. Goodfire применили метод K-FAC (Kronecker-Factored Approximate Curvature) и увидели, что память создаёт резкие скачки ландшафта, а логика — пологие холмы. Они вырезали участки с низкой кривизной (резкие пики) — и память упала со 100% до 3,4%. Логика почти не изменилась.

Сравнив K-FAC с другими методами редактирования, получили наглядные цифры:

Видно: K-FAC чище вычищает память, не трогая логику. Но не всё так радужно.

Математика — это память, а не вычисление

Самый странный результат: после удаления памяти качество арифметических операций падало на 66%. Логические задачи (булевы операции, сравнение чисел) оставались на высоте. Модель не вычисляла 2 + 2 — она доставала из памяти факт «2+2=4». Это объясняет, почему современные чат-боты так плохи в математике без внешних калькуляторов. Они — как библиотекари, которые помнят все книги, но не умеют считать страницы.

Когда нейросеть решает уравнение, она на самом деле ищет похожий пример в памяти. Глубоких рассуждений нет — есть сопоставление шаблонов.

Что это даёт на практике (и чего не даёт)

Разработчики смогут удалять из модели конфиденциальные данные, авторские тексты или опасный контент, сохраняя логические способности. Но есть нюансы. Первое: удалённые факты могут вернуться при дообучении — информация не стирается навсегда, а только подавляется. Второе: никто не знает, почему память так тесно связана с математикой. Возможно, сложные вычисления действительно требуют не только памяти, но и её комбинаций с рассуждением. Метод K-FAC — мощный инструмент, но не панацея.

Резюме от автора. ИИ — не гениальный математик, а эрудит с хорошей памятью. Пока мы не разделим в архитектуре «запоминание» и «вычисление», нейросети будут блестяще имитировать логику, но проваливаться в реальных расчётах. Следующие шаги за инженерами — возможно, гибридные системы, где модель ищет закономерности, а счёт доверяет внешнему движку. А пока — не просите ChatGPT посчитать чаевые.