Лента новостей

00:41
Как 91 процент населения Украины стали «городскими сумасшедшими»
00:31
Атаман Брюховецкого РКО Евгений Самарский вместе с казачьей молодежью местного отделения Союза казачьей молодежи Кубани делают окопные свечи для бойцов СВО
23:16
Xiaomi представила смарт-телевизоры Redmi Smart TV X 2025 с ИИ, 240 Гц и Wi-Fi 6 по цене от $300
23:08
Не только в Европе, но и в Токио, и Сеуле должны услышать последнее предупреждение Президента России
22:55
Война на Украине (24.11.24): Несмотря на распутицу накал боев на Донбассе нарастает...
22:13
Польша тайком поставляла Украине швейцарские патроны
21:29
Польские фермеры вновь блокируют КПП на границе с Украиной
20:56
«Воевать будут все!» Депутат Киевсовета, вдова нациста Коцюбайло со смехом призналась, что все украинцы будут принудительно мобилизованы
20:41
«Тысяча и одна ночь», или Сказки киевской хунты
20:40
Более половины украинцев готовы к переговорам с Россией
20:05
Индийцы отреагировали на удар Орешником по Украине
19:26
Чиновник из Подмосковья может быть причастен к воровству денег, выделенных на восстановление Донбасса
18:40
Обстановка в Курской области по состоянию на 24 ноября
18:21
С Русскими тот, кто мощнее всех Орешников - Новости
17:53
Путин созвонился с Эрдоганом
17:47
О ракете, которой Путин ударил по Украине
17:23
В Барнауле загорелся склад с автомобильной резиной и легковоспламеняющейся жидкостью
17:05
Министерство энергетики Украины почти в три раза увеличило импорт электроэнергии из Европы
16:16
Обезоруживающий удар: русская версия
16:14
Какой посыл для Запада нес Орешник
15:55
Ученые создали наноспагетти, которые невозможно разглядеть невооруженным глазом
15:33
Трамп отдаст Украину под протекторат России, если та разорвёт отношения с Китаем — The Guardian
15:29
Десант освободил Дарьино в Суджанском районе Курской области (КАРТА, ВИДЕО)
15:25
На Украине столкнулись с невозможностью включения отопления из-за мобилизации сотрудников
15:03
«Винтовка переднего края»: чем уникален новейший полуавтоматический карабин ZOV
14:44
Карта UnionPay «Газпромбанка» прекратила работу в некоторых странах
14:43
Трамп отдаст Украину под протекторат России, если та разорвёт отношения с Китаем - The Guardian
14:35
Медведев заявил о невозможности сбить «Орешник» современными средствами
14:27
Наполеоновские мечты: парижане повышают ставки на Украине ради лидерства в Европе
14:21
Fallout S01E08 Начало
14:13
Артиллеристы из состава группировки войск «Днепр» уничтожили миномёт ВСУ на Каховском направлении — видео
13:55
Сводка Минобороны России о ходе проведения спецоперации по состоянию на 24 ноября
13:51
Священник пояснил, можно ли женщинам в брюках заходить в храм
13:49
Жертвы необъявленной войны. Как в Европе воюют со свободой слова
13:46
На Украине оказались повреждены 80% объектов энергетики
13:07
В России отмечают День матери
13:01
Переломный момент в конфликте. Американские СМИ обсуждают удар Орешником по Украине
12:22
«Станет важнейшим плацдармом». Под Купянском группировка ВСУ попала в огневой мешок
12:01
НАТО готовится к войне: ключевые события и карта боевых действий на Украине, Донбассе и в Курской области 24 ноября 2024 года
11:33
Антиколониализм — как последнее прибежище педофилов «англосаксонского Ватикана»
11:29
Захарова ответила на подозрение в отсутствии у России «Орешника»
10:30
ВСУ за сутки обстреляли Белгородскую область 103 раза: последствия атак и меры реагирования
10:25
«Превратился в полубылинного персонажа»: историк — о военных достижениях Александра Суворова
09:43
В России работают над бесконтактной технологией оплаты на базе Bluetooth
09:33
«Уголовные мифы» о Великой Отечественной: «блатные патриоты»
Все новости

Архив публикаций



Мировое обозрение»Технологии»«Больше, чем у кого-либо»: Цукерберг похвастался системой с более чем 100 тыс. Nvidia H100 — на ней обучается Llama 4

«Больше, чем у кого-либо»: Цукерберг похвастался системой с более чем 100 тыс. Nvidia H100 — на ней обучается Llama 4


Среди американских IT-гигантов зародилась новая забава — соревнование, у кого больше кластеры и твёрже уверенность в превосходстве своих мощностей для обучения больших языковых моделей ИИ. Лишь недавно глава компании Tesla Илон Маск (Elon Musk) хвастался завершением сборки суперкомпьютера xAI Colossus со 100 тыс. ускорителей Nvidia H100 для обучения ИИ, как об использовании более 100 тыс. таких же ИИ-ускорителей сообщил глава Meta Марк Цукерберг (Mark Zuckerberg).

 Источник изображения: CNET/YouTube

Источник изображения: CNET/YouTube

Глава Meta отметил, что упомянутая система используется для обучения большой языковой модели нового поколения Llama 4. Эта LLM обучается «на кластере, в котором используется больше 100 000 графических ИИ-процессоров H100, и это больше, чем что-либо, что я видел в отчётах о том, что делают другие», — заявил Цукерберг. Он не поделился деталями о том, что именно уже умеет делать Llama 4. Однако, как пишет издание Wired со ссылкой на заявление главы Meta, их ИИ-модель обрела «новые модальности», «стала сильнее в рассуждениях» и «значительно быстрее».

Этим комментарием Цукерберг явно хотел уколоть Маска, который ранее заявлял, что в составе его суперкластера xAI Colossus для обучения ИИ-модели Grok используются 100 тыс. ускорителей Nvidia H100. Позже Маск заявил, что количество ускорителей в xAI Colossus в перспективе будет увеличено втрое. Meta также ранее заявила, что планирует получить до конца текущего года ИИ-ускорители, эквивалентные более чем полумиллиону H100. Таким образом, у компании Цукерберга уже имеется значительное количество оборудования для обучения своих ИИ-моделей, и будет ещё больше.

Meta использует уникальный подход к распространению своих моделей Llama — она предоставляет их полностью бесплатно, позволяя другим исследователям, компаниям и организациям создавать на их базе новые продукты. Это отличает её от тех же GPT-4o от OpenAI и Gemini от Google, доступных только через API. Однако Meta всё же накладывает некоторые ограничения на лицензию Llama, например, на коммерческое использование. Кроме того, компания не сообщает, как именно обучаются её модели. В остальном модели Llama имеют природу «открытого исходного кода».

С учётом заявленного количества используемых ускорителей для обучения ИИ-моделей возникает вопрос — сколько электричества всё это требует? Один специализированный ускоритель может съедать до 3,7 МВт·ч энергии в год. Это означает, что 100 тыс. таких ускорителей будут потреблять как минимум 370 ГВт·ч электроэнергии — как отмечается, достаточно для того, чтобы обеспечить энергией свыше 34 млн среднестатистических американских домохозяйств. Каким образом компании добывают всю эту энергию? По признанию самого Цукерберга, со временем сфера ИИ столкнётся с ограничением доступных энергетических мощностей.

Компания Илона Маска, например, использует несколько огромных мобильных генераторов для питания суперкластера из 100 тыс. ускорителей, расположенных в здании площадью более 7000 м2 в Мемфисе, штат Теннесси. Та же Google может не достичь своих целевых показателей по выбросам углерода, поскольку с 2019 года увеличила выбросы парниковых газов своими дата-центрами на 48 %. На этом фоне бывший генеральный директор Google даже предложил США отказаться от поставленных климатических целей, позволив компаниям, занимающимся ИИ, работать на полную мощность, а затем использовать разработанные технологии ИИ для решения климатического кризиса.

Meta увильнула от ответа на вопрос о том, как компании удалось запитать такой гигантский вычислительный кластер. Необходимость в обеспечении растущего объёма используемой энергии для ИИ вынудила те же технологические гиганты Amazon, Oracle, Microsoft и Google обратиться к атомной энергетике. Одни инвестируют в разработку малых ядерных реакторов, другие подписали контракты на перезапуск старых атомных электростанций для обеспечения растущих энергетических потребностей.



Опубликовано: Мировое обозрение     Источник

Читайте нас:





Напишите ваш комментарий к статье:

Информация
Посетители, находящиеся в группе Гости, не могут оставлять комментарии к данной публикации.

Новости партнеров

Наверх