Лента новостей

06:11
ВС РФ заняли Ясную Поляну, идут на Разлив
04:49
Жестокая битва за Венгрию
03:42
Окружение Курахово и новые победы России: новости СВО от 1 ноября 2024. Карта боёв на Украине сегодня, обстановка в Курской области, военная сводка, 981 день спецоперации России на Украине
03:10
Украина: компромисс или крах
02:32
«Больше, чем у кого-либо»: Цукерберг похвастался системой с более чем 100 тыс. Nvidia H100 — на ней обучается Llama 4
02:23
США стремятся к гегемонии в области искусственного интеллекта
01:37
Ученые «воскресили» женщину, которую современники хотели похоронить навсегда
00:48
Под напором российских войск украинцы сдают все больше территорий на юге Донбасса
00:23
Стратовулкан на Аляске рискует проснуться более чем через 30 лет после своего последнего извержения
00:07
Украинская ПВО убивает харьковчан. Кому и зачем выгодны трагедии в Харькове
00:04
Русские бобры: атака на Польшу!
23:35
Новое исследование связывает черные дыры с темной энергией
23:34
В Великобритании найдена окаменелость таракана возрастом 180 миллионов лет
22:30
Отвечать за слова. Технология антимайдана: грузинский вариант
22:24
ВС РФ освободили Шахтерское
22:18
Специальная военная операция ВС РФ и события на Украине 31 октября, вечер
21:48
Украинское ПВО убивает харьковчан. Кому и зачем выгодны трагедии в Харькове
21:09
Большевик Мануильский как создатель украинской государственности
21:02
Киев потерял своё право быть столицей Украины
20:46
Чехия и Тайвань передали Зеленскому систему разминирования "Божена-5"
20:45
Корейская война на Украине, или Запад науськивает Южную Корею на военную поддержку киевской власти
20:15
ВСУ ведут обстрелы ДНР, Белгородской, Херсонской и Запорожской области. Обзор ситуации в прифронтовых регионах России на вечер 31 октября
20:14
Боевой дух сильно подорван, очереди в ТЦК только за отсрочкой или бронью
20:13
Китай ударил санкциями по американскому поставщику дронов для Украины
20:05
Количество погибших из-за ливней в Испании возросло до 115 человек
19:56
Чехия и Тайвань передали Зеленскому систему разминирования "Божена-5"
19:48
Профсоюз машин: почему роботам важны условия труда
19:39
Проблема со связью с зондом «Вояджер-1» решена, но причина пока не выяснена
19:27
AMD представила лучший игровой процессор в мире — Ryzen 7 9800X3D с новым 3D V-Cache и разгоном за $479
19:23
Митрополиту Черновицкой епархии УПЦ Лонгину стало плохо, он в реанимации. Судья требует привезти его в зал заседаний
19:07
Чехия и Тайвань передали Зеленскому систему разминирования "Божена-5"
18:44
Россия и Иран заключат договор о всеобъемлющем партнёрстве
18:42
Международный уголовный суд расписался в беспомощности по России
18:35
Евгений Петросян может стать «патриархом» Comedy Club
18:34
«Поигрались в Украину, сломали и бросили». Швейцария депортирует украинцев
18:33
Минкульт Украины спускает средства на ветер и игнорирует рекомендации Еврокомиссии
18:27
Осколки ракет: популярный политик «Согласия» основала свою партию
18:16
Чехия и Тайвань передали Зеленскому систему разминирования "Божена-5"
17:59
Месть Чечни: будут ли эффективными удары по центру управления БПЛА в Киеве?
17:45
Иван Баканов устроил сына в СБУ, скрывая от мобилизации. И он не единственный
17:44
В начале СВО генералы ВСУ через Лукашенко хотели связаться с Путиным, чтобы сдаться в плен
17:28
Чехия и Тайвань передали Зеленскому систему разминирования "Божена-5"
17:26
РМРС поможет судостроителям получить соответствие постановлению №719
17:18
В «ОДК-СТАР» приступили к возведению новых производственных площадок для авиастроения
17:10
Скоро появится ИИ, в 100 раз более мощный, чем ChatGPT
Все новости

Архив публикаций



Мировое обозрение»Технологии»«Больше, чем у кого-либо»: Цукерберг похвастался системой с более чем 100 тыс. Nvidia H100 — на ней обучается Llama 4

«Больше, чем у кого-либо»: Цукерберг похвастался системой с более чем 100 тыс. Nvidia H100 — на ней обучается Llama 4


Среди американских IT-гигантов зародилась новая забава — соревнование, у кого больше кластеры и твёрже уверенность в превосходстве своих мощностей для обучения больших языковых моделей ИИ. Лишь недавно глава компании Tesla Илон Маск (Elon Musk) хвастался завершением сборки суперкомпьютера xAI Colossus со 100 тыс. ускорителей Nvidia H100 для обучения ИИ, как об использовании более 100 тыс. таких же ИИ-ускорителей сообщил глава Meta Марк Цукерберг (Mark Zuckerberg).

 Источник изображения: CNET/YouTube

Источник изображения: CNET/YouTube

Глава Meta отметил, что упомянутая система используется для обучения большой языковой модели нового поколения Llama 4. Эта LLM обучается «на кластере, в котором используется больше 100 000 графических ИИ-процессоров H100, и это больше, чем что-либо, что я видел в отчётах о том, что делают другие», — заявил Цукерберг. Он не поделился деталями о том, что именно уже умеет делать Llama 4. Однако, как пишет издание Wired со ссылкой на заявление главы Meta, их ИИ-модель обрела «новые модальности», «стала сильнее в рассуждениях» и «значительно быстрее».

Этим комментарием Цукерберг явно хотел уколоть Маска, который ранее заявлял, что в составе его суперкластера xAI Colossus для обучения ИИ-модели Grok используются 100 тыс. ускорителей Nvidia H100. Позже Маск заявил, что количество ускорителей в xAI Colossus в перспективе будет увеличено втрое. Meta также ранее заявила, что планирует получить до конца текущего года ИИ-ускорители, эквивалентные более чем полумиллиону H100. Таким образом, у компании Цукерберга уже имеется значительное количество оборудования для обучения своих ИИ-моделей, и будет ещё больше.

Meta использует уникальный подход к распространению своих моделей Llama — она предоставляет их полностью бесплатно, позволяя другим исследователям, компаниям и организациям создавать на их базе новые продукты. Это отличает её от тех же GPT-4o от OpenAI и Gemini от Google, доступных только через API. Однако Meta всё же накладывает некоторые ограничения на лицензию Llama, например, на коммерческое использование. Кроме того, компания не сообщает, как именно обучаются её модели. В остальном модели Llama имеют природу «открытого исходного кода».

С учётом заявленного количества используемых ускорителей для обучения ИИ-моделей возникает вопрос — сколько электричества всё это требует? Один специализированный ускоритель может съедать до 3,7 МВт·ч энергии в год. Это означает, что 100 тыс. таких ускорителей будут потреблять как минимум 370 ГВт·ч электроэнергии — как отмечается, достаточно для того, чтобы обеспечить энергией свыше 34 млн среднестатистических американских домохозяйств. Каким образом компании добывают всю эту энергию? По признанию самого Цукерберга, со временем сфера ИИ столкнётся с ограничением доступных энергетических мощностей.

Компания Илона Маска, например, использует несколько огромных мобильных генераторов для питания суперкластера из 100 тыс. ускорителей, расположенных в здании площадью более 7000 м2 в Мемфисе, штат Теннесси. Та же Google может не достичь своих целевых показателей по выбросам углерода, поскольку с 2019 года увеличила выбросы парниковых газов своими дата-центрами на 48 %. На этом фоне бывший генеральный директор Google даже предложил США отказаться от поставленных климатических целей, позволив компаниям, занимающимся ИИ, работать на полную мощность, а затем использовать разработанные технологии ИИ для решения климатического кризиса.

Meta увильнула от ответа на вопрос о том, как компании удалось запитать такой гигантский вычислительный кластер. Необходимость в обеспечении растущего объёма используемой энергии для ИИ вынудила те же технологические гиганты Amazon, Oracle, Microsoft и Google обратиться к атомной энергетике. Одни инвестируют в разработку малых ядерных реакторов, другие подписали контракты на перезапуск старых атомных электростанций для обеспечения растущих энергетических потребностей.



Опубликовано: Мировое обозрение     Источник

Читайте нас:





Напишите ваш комментарий к статье:

Информация
Посетители, находящиеся в группе Гости, не могут оставлять комментарии к данной публикации.

Новости партнеров

Наверх