Лента новостей

15:14
ВСУ применяют отравляющие вещества в Курской области: последние новости спецоперации на 8 октября 2024 года, карта боевых действий на Украине, обстановка в Курской области
15:08
«Грозное средство поражения»: как совершенствуются российские огнемётные системы
14:50
Чудо перерождения: игрок первым в истории прошёл «Тетрис» до конца
14:46
Глава Минобороны Южной Кореи: КНДР может отправить своих военных для помощи России в СВО
14:45
Польские фермеры снова анонсировали блокировку фур на границе
14:44
Совет ЕС утвердил новый режим санкций против РФ
14:43
СБУ продолжает «кошмарить» украинцев: любая «антиукраинская провинность» - тюрьма
14:35
Лондон ввел санкции против начальника войск РХБЗ Кириллова
14:17
Деривация рвется на фронт - Новости
13:51
В деле Epic Games против Google поставлена точка: Android откроется для альтернативных магазинов приложений
13:47
В Умани «патриоты» избили хасида за лозунг «Слава Палестине, Слава России!»
13:27
Первый французский фрегат типа FDI вышел на ходовые испытания
12:56
Франция пообещала передать Украине Mirage 2000 в первой половине 2025 года
12:55
Одесситка хотела поздравить Путина с днем рождения установкой российского флага в центре города
12:54
Трамп: сектор Газа может превзойти Монако и стать лучшим местом в мире
12:46
В Белоруссии идентифицировали 45 заговорщиков против Лукашенко
12:31
Джон Шемякин про 100 лет Шанхая, часть 4
12:27
Американские военные управляют оружием и техникой с помощью кастомных игровых контроллеров
12:16
Допустят ли «Росатом» до строительства новой АЭС в Казахстане
12:02
Повышение за поражения? Зеленский присвоил генеральское звание командующему группировкой «Донецк»
12:01
Foreign Policy: США сеют гроздья гнева на Ближнем Востоке
12:00
«Восстановление мира в планы противник не входит». Лавров дал интервью американскому изданию Newsweek
11:43
Специальная военная операция ВС РФ и события на Украине 8 октября, день
11:39
Киев хочет отдать Крым Турции - Новости
11:17
Северную Корею заподозрили в строительстве ядерной подводной лодки
11:16
Израиль не пригласил чиновников ООН на церемонию
11:08
Не спи, страна огромная! Письмо «Антифашисту»
11:07
Граждане Словакии собрали 4 млн евро на боеприпасы для Украины
10:59
Уроженки Узбекистана попытались провезти в Турцию более 9 кг золота в гениталиях
10:18
БРИКС расширяется. Заявку на вступление в группу подала Куба
10:10
Куба запросила о присоединении к БРИКС в качестве партнера
09:54
Активные бои в Курской области продолжаются: российская армия продвигается в Кореневском районе
09:34
Неизбежный ответ: Израилю можно, а по Израилю нельзя?
09:27
«Это братоубийство». Украинские солдаты отказываются стрелять по противнику, увеличилось дезертирство
09:26
В Испании в мужской лиге дебютировала первая футбольная команда-трансгендеров
09:15
СВО. Донбасс. Оперативная лента за 08.10.2024
09:06
АСЗ отправил во Владивосток свой первый Каракурт
09:03
Санду добивает Молдову - Новости
08:59
ВС РФ прорвали украинскую оборону на Запорожском фронте: сводка от Юрия Подоляки
08:50
Страх рождения ребенка отразился на грудном вскармливании
08:27
Ближний Восток: тень Голды Меир над Израилем
07:50
Индия получит торпеды Mk 54 для вертолётов MH-60R
06:10
Броненосец «Кэптэн» – жертва общественного мнения
06:00
Кровавая битва на реке Шахэ
04:18
Покровск может решить исход конфликта на Украине
Все новости

Архив публикаций



Мировое обозрение»Технологии»NVIDIA развенчала миф от AMD: ИИ-ускорители H100 в реальных задачах в разы быстрее Instinct MI300X

NVIDIA развенчала миф от AMD: ИИ-ускорители H100 в реальных задачах в разы быстрее Instinct MI300X


Компания NVIDIA опубликовала свежие данные о производительности своих ИИ-ускорителей H100, сравнив их с недавно представленными ускорителями Instinct MI300X от компании AMD. Этим сравнением NVIDIA решила показать, что на самом деле H100 обеспечивают более высокую производительность по сравнению с конкурентом, если использовать правильную программную среду для ИИ-вычислений. Компания AMD этого не учла в своём сравнении ускорителей, посчитали в NVIDIA.

 Источник изображения: Wccftech

Источник изображения: Wccftech

Во время презентации Advancing AI компания AMD официально представила специализированные ускорители вычислений для ИИ Instinct MI300X и сравнила их в различных бенчмарках и тестах с ускорителями H100 от NVIDIA. В частности, AMD заявила, что один ускоритель MI300X обеспечивает на 20 % более высокую производительность по сравнению с одним ускорителем H100, а сервер из восьми MI300X до 60 % быстрее сервера из восьми H100. NVIDIA опубликовала заметку на своём сайте, в которой утверждает, что эти заявления далеки от правды.

Ускорители вычислений NVIDIA H100 были выпущены в 2022 году и с тех пор получили различные улучшения на уровне программного обеспечения. Например, наиболее свежие улучшения, связанные с программной средой для ИИ-вычислений TensorRT-LLM позволили ещё больше повысить производительность H100 в рабочих нагрузках, специфичных для искусственного интеллекта, а также провести оптимизацию на уровне ядра. Всё это, по словам NVIDIA, позволяет чипам H100 эффективнее работать с такими большими языковыми моделями, как Llama 2 с 70 млрд параметров с использованием операций FP8.

Сама AMD в своей презентации утверждала, что Instinct MI300X до 20 % быстрее H100 в Llama 2 70B, а также система из восьми ускорителей AMD обеспечивает превосходство по задержке на 40 % по сравнению с системой на восьми NVIDIA H100 в той же нейросети. Превосходство в операциях FP8 и FP16 составляет 30 % в пользу MI300X.

AMD проводила тесты своих ускорителей MI300X с использованием оптимизированных библиотек программной среды вычислений ROCm 6.0. Однако для NVIDIA H100 использовались данные без учёта применения оптимизированной программной среды TensorRT-LLM, предназначенной для этих задач. В свежей статье NVIDIA привела актуальные данные производительности одного DGX-сервера из восьми H100 в модели Llama 2 70B с учётом обработки одного программного пакета (Batch-1).

 Источник изображения: NVIDIA

Источник изображения: NVIDIA

NVIDIA поясняет, что выводы AMD (серым и красным на графике выше) о превосходстве над H100 основаны на данных, представленных в сноске #MI300-38 к презентации AMD. Для их получения использовалась система NVIDIA DGX H100, фреймворк vLLM v.02.2.2 и модель Llama 2 70B с длиной входной последовательности 2048 и длиной выходной последовательности 128. NVIDIA отмечает, что в AMD сравнили систему из восьми MI300X с системой DGX H100 из восьми H100.

В свою очередь данные NVIDIA показаны на графике зелёным. Для их получения применена система DGX H100 из восьми NVIDIA H100 с 80 Гбайт памяти HBM3 в каждом, а также находящийся в открытом доступе фреймворк NVIDIA TensorRT-LLM v0.5.0 для расчёта Batch-1 и версии v0.6.1 для расчёта задержки. Рабочая нагрузка такая же, как указано в сноске AMD #MI300-38.

Приведённые NVIDIA результаты показывают, что сервер DGX H100 вдвое быстрее при использовании оптимизированных фреймворков, чем заявляет AMD. Кроме того, сервер с восемью H100 до 47 % быстрее системы с восемью AMD MI300X.

«Система DGX H100 способна обработать один инференс-запрос размером в один пакет (Batch-1) или иными словами, один запрос вывода за раз, за 1,7 секунды. Запрос уровня Batch-1 обеспечивает максимально быстрый показатель времени отклика для обработки модели. Для оптимизации времени отклика и пропускной способности ЦОД облачные сервисы устанавливают фиксированное время ответа для конкретной задачи. Это позволяет операторам ЦОД объединять несколько запросов на вывод в более крупные “пакеты” и увеличивать общее количество выводов сервера в секунду. Стандартные отраслевые тесты вроде MLPerf также измеряют производительность с помощью этого фиксированного показателя времени отклика», — продолжает NVIDIA.

В NVIDIA поясняют, что небольшие компромиссы в вопросе времени отклика системы могут привести к увеличению количества запросов на вывод, которые сервер может обработать в реальном времени. Используя фиксированный бюджет времени отклика в 2,5 секунды, сервер DGX H100 с восемью графическими процессорами может обработать более пяти инференс-запросов Llama 2 70B за раз.



Опубликовано: Мировое обозрение     Источник

Читайте нас:





Напишите ваш комментарий к статье:

Информация
Посетители, находящиеся в группе Гости, не могут оставлять комментарии к данной публикации.

Новости партнеров

Наверх