Математики придумали более простой способ умножения матриц — он может стать основой прорыва в ИИ

Лид-абзац: Математики совершили прорыв в одной из фундаментальных операций, лежащих в основе работы нейросетей — перемножении матриц. Две исследовательские группы, из Китая и США, независимо друг от друга представили алгоритмы, которые позволяют сократить количество вычислительных операций до рекордно низкого уровня. Для индустрии искусственного интеллекта это означает, что обучение моделей может стать значительно быстрее и, что критически важно, менее требовательным к аппаратным ресурсам.

Почему математики десятилетиями охотятся за «второй степенью»

В основе любой современной нейросети лежит умножение матриц. До недавнего времени этот процесс требовал выполнения n³ операций, где n — размерность матрицы. Для матрицы 3×3 это 27 умножений. Однако идеалом для теоретиков является показатель n² — минимально возможное количество действий. Поиск алгоритма, приближающегося к этому пределу, начался еще в 1970-х годах вместе с распространением вычислительной техники.

Ключевой вехой стал 1981 год, когда математик Арнольд Шёнхаге доказал возможность выполнения операции за n^2,522 шагов. Его подход, получивший название «лазерный метод», оставался базой для всех последующих улучшений на протяжении четырех десятилетий.

Двойной удар по неэффективности: как китайские и американские ученые переписали формулу

Прорыв 2023 года стал результатом обнаружения так называемых «скрытых потерь» в классическом лазерном методе. Первыми успех объявили исследователи из Университета Цинхуа. Ран Дуань и Ренфэй Чжоу представили алгоритм, который устранил узкие места прежнего подхода, установив новую верхнюю границу на уровне n^2,371866. Это стало самым значительным шагом вперед с 2010 года.

Однако уже через два месяца группа из Массачусетского технологического института под руководством Вирджинии Василевски Уильямс, а также исследователи Инчжан Сюй и Цзысюань Сюй опубликовали собственную работу. Они предложили дополнительную оптимизацию, снизившую показатель до n^2,371552. Таким образом, за короткий промежуток времени наука получила сразу два рекордных результата.

Несмотря на кажущуюся абстрактность, эти цифры имеют прямое отношение к производительности GPT-моделей, систем компьютерного зрения и рекомендательных алгоритмов. Каждое снижение экспоненты означает, что для обучения одной и той же модели потребуется меньше операций с плавающей запятой. Это напрямую снижает время и энергозатраты, что особенно актуально в условиях дефицита вычислительных мощностей.

От теории к практике: чего ждать от нейросетей

Точное ускорение работы конкретной системы ИИ будет зависеть от архитектуры оборудования и от того, насколько сильно её задачи завязаны на матричных операциях. Наибольший эффект от новых алгоритмов проявится в паре с оптимизацией чипов — например, тензорных ядер GPU или NPU. Однако общий вектор очевиден: по мере накопления подобных алгоритмических улучшений, искусственный интеллект будет не просто умнеть, но и ускоряться, постепенно снижая требования к «железу».