DeepSeek открыла код фреймворка DeepInfer, на котором работают её ИИ-сервисы

DeepSeek открыла исходный код DeepInfer, фреймворка для инференса, то есть для запуска уже обученной модели и получения от неё ответов. По словам компании, продукт нужен, чтобы обслуживать большую пользовательскую базу и не делать эту работу слишком дорогой.

Фреймворк стартует с одной моделью. По умолчанию загружается версия 1017 модели DeepSeek-V4.1-Flash, выпущенная в минувшие выходные. Совместим DeepInfer с GPU NVIDIA на архитектуре Blackwell (SM100) и с ускорителями Huawei Ascend 950. Поддержки NVIDIA Hopper и более старых поколений не предусмотрено. Исходный код доступен на GitHub, в комплекте есть библиотека deepseek-recipe, которая превращает запросы в последовательности токенов по той же логике, что и официальный API компании. Этот же репозиторий будет использоваться и для кода будущих моделей.

Как ускоряют ответы модели

В DeepInfer есть два механизма ускорения. Первый основан на спекулятивном декодировании: вспомогательная модель за один шаг предлагает сразу пять токенов, а модуль оценки уверенности заранее прогнозирует, какие из них примет основная модель. Проверочные вычисления тратятся только на наиболее вероятные варианты, поэтому число проверяемых «черновых» токенов сокращается на 30 %. По заявлению DeepSeek, в реальных рабочих нагрузках это даёт прирост производительности на 4–7 %.

Второй механизм касается первичной обработки запроса. Обычно модель заново пропускает через слои декодера весь текст запроса. В DeepInfer повторно пропускаются только последние 128 токенов, и объём вычислений на этом этапе почти вдвое меньше.

Быстродействие DeepSeek проверяла только на ускорителях NVIDIA, поэтому все приведённые бенчмарки получены исключительно в собственных испытаниях компании. Независимых замеров пока нет.

Что осталось закрытым

Код для управления KV-кэшем и балансировки нагрузки DeepSeek пока не опубликовала. Компания объясняет это тем, что эти компоненты тесно связаны с её внутренней инфраструктурой. Фреймворк ориентирован на разделение нагрузки между первичной обработкой запросов и генерацией ответов, но реализовывать такое разделение пользователям придётся самостоятельно. Минимальной эффективной конфигурацией указаны 128 GPU: по 64 на первичную обработку и на генерацию ответов.

Две функции, которые гарантируют идентичные результаты при повторном запуске с теми же исходными данными, работают только на ускорителях NVIDIA. Поддержка Huawei Ascend в DeepInfer появилась после релиза от 30 сентября, когда при содействии Huawei была добавлена поддержка TileLang, китайского аналога CUDA.

Инфраструктурные планы DeepSeek масштабны. Во Внутренней Монголии компания намерена построить кампус ИИ-ЦОД мощностью 1 ГВт и развернуть там не менее 160 000 ускорителей Huawei Ascend 950DT. Параллельно, как сообщалось ранее, DeepSeek разрабатывает собственный ИИ-ускоритель для инференса, чтобы снизить зависимость и от NVIDIA, и от Huawei.

Открытие кода инференса позволяет разработчикам увидеть, как устроена работа одной из самых дешёвых в обслуживании моделей, но полноценно воспроизвести её на своём кластере пока сложно: без KV-кэша и балансировщика большая часть инженерной работы остаётся за пользователем.

По материалам: 3DNews