Лента новостей

15:17
Юрий Подоляка в свежей сводке от 26.12.2024: армия России берёт в котёл сразу два города, ВСУ несут большие потери
15:15
«Характер» битума: как продукт переработки нефти влияет на качество современных дорог
14:49
The Guardian: увеличивается количество жителей Западной Европы, которые не поддерживают Украину
14:48
Франция намеревалась вести переговоры по украинскому конфликту с Россией без Украины
14:47
Власти Германии отказались помогать Грузии из-за независимой политики Тбилиси
14:42
Глобалисты признали, что энергопереход к зеленой экономике провалился
14:02
Огромный графический процессор GeForce RTX 5090 показался на фото в окружении чипов GDDR7
13:58
Глава МВД Германии призвала не обращать внимания на Илона Маска, который призывает сменить Шольца
13:43
Специальная военная операция ВС РФ и события на Украине 26 декабря, день
13:39
У командования ВСУ истерика - Русские войска давят на фронте - Новости
13:16
Китайский истребитель шестого поколения совершил первый полёт
13:08
«Иллюстрация биодрона». В Гусь-Хрустальном мужчина по заданию мошенников протаранил военкомат и поджёг автомобиль
13:07
Генерал ВСУ призвал «поставить на паузу» конфликт на Украине из-за нехватки вооружений
12:47
Гоблин про сериал The Last of Us, эпизод 8 (тизер)
12:34
Почему вы ненавидите звук своего голоса? Разбираем физиологические и психологические аспекты
12:31
Кто, как и зачем мог потопить «Большую медведицу»?
12:17
Кучно пошли: ФСБ предотвратила ряд терактов, преступники задержаны
12:13
В России ужесточают правила покупки сим-карт для защиты от мошенников и нелегальной миграции
11:55
Российская армия прорвала оборону ВСУ: сводки с передовой на 26 декабря 2024 года, обзор боевых действий на Украине и актуальная карта военных действий
11:43
Издает ли Солнце шум? Почему звук не распространяется в космосе?
11:27
Украинские оккупанты осквернили Славянск рекламными плакатами с Бандерой
11:26
Чёрное море и побережье Кубани загажены мазутом на сотни километров
11:19
Свыше 1,5 тыс преступников сбежали из тюрьмы в Мозамбике
10:23
В Китае продолжилась борьба с коррупцией среди высокопоставленных военных
10:06
Полет в никуда: почему мы не можем просто отправить земной мусор на Солнце?
09:50
Трамп рассказал о выгоде канадцев при вхождении Канады в состав США
09:49
«Корабль затопил ГУР Украины по указанию британцев». Российское судно Ursa Major в Средиземном море подорвали террористы
09:48
ФСБ предотвратила убийства руководства Минобороны России
09:44
Спаси море: в Краснодарском крае объявлен режим ЧС, кипит работа по ликвидации катастрофы из-за крушения судов с мазутом (ФОТО, ВИДЕО)
09:42
Планируемое создание «исламского Ватикана» на Балканах чревато ростом религиозного экстремизма и терроризма в Европе
09:36
СВО. Донбасс. Оперативная лента за 26.12.2024
09:30
Зеленский устроил газовый скандал в Европе, или «Мал клоп, да вонюч»
09:28
В перестрелке в Тартусе погибли не менее девяти человек
09:27
Президент Финляндии оценил возможности страны по мобилизации
09:21
Решающее наступление: Юрий Подоляка в свежей сводке от 26.12.2024, последние новости
09:01
РФ заявила досудебные претензии странам Прибалтики за дискриминацию русских
08:35
Россия готовит самый мощный удар - новости
07:10
Украинские военные завершили курс обучения на истребителях Mirage 2000
03:31
Новая реальность: успех S.T.A.L.K.E.R. 2: Heart of Chornobyl позволит GSC добавить в игру вырезанный контент
03:07
Контратаки ВСУ провалены: новости СВО от 26 декабря 2024. Карта боёв на Украине сегодня, обстановка в Курской области, военная сводка, 1036-й день спецоперации России на Украине
01:51
«Теория заговора»: американцы уверены, что их космонавты делают снимки на студии, а не в космосе
01:03
Трамп в Аризоне рассказал о своих масштабных планах
00:34
Обзор лучших приложений для управления личными финансами  Обзор лучших приложений для управления личными финансами
00:18
Обострившаяся украинская безысходность
00:16
Колумбия, крупнейший в мире экспортер наемников: Правительство, которое бездействует, виновато в том, что так много наемников уезжает за границу
Все новости

Архив публикаций



Мировое обозрение»Технологии»Новая модель ИИ с открытым исходным кодом, более легкая, но такая же мощная, как и крупные модели OpenAI

Новая модель ИИ с открытым исходным кодом, более легкая, но такая же мощная, как и крупные модели OpenAI



Исследователи разработали серию мультимодальных ИИ с открытым исходным кодом, обученных на небольшом количестве данных, но по эффективности не уступающих лучшим современным моделям, например, от OpenAI. Ключ к их эффективности лежит в качестве и организации данных, в отличие от крупномасштабных моделей, созданных на основе огромного количества информации, беспорядочно полученной из Интернета. Это позволит снизить затраты на обучение и улучшить масштабируемость, а также получить дополнительное преимущество в виде открытого исходного кода.

Мультимодальный ИИ отличается от унимодального тем, что способен обрабатывать и интерпретировать одновременно несколько типов данных, таких как текст, изображения и аудио. Самые мощные модели на рынке, такие как модели OpenAI и Google, являются «проприетарными». Это означает, что доступ к их исходному коду ограничен компанией либо по соображениям коммерческой тайны, либо по соображениям интеллектуальной собственности. Таким образом, разработка контролируется одним игроком, в основном с целью получения прибыли.

Однако такое ограничение дает ряд преимуществ, включая профессиональную техническую поддержку, регулярные обновления и более высокую производительность, достигаемую за счет больших финансовых ресурсов. Однако оно также подразумевает высокий уровень зависимости от поставщика и отсутствие прозрачности и свободы кастомизации со стороны пользователей. С другой стороны, хотя компании, владеющие этими моделями, в последние годы получили миллиарды долларов финансирования, инвесторы недавно выразили скептицизм по поводу рентабельности этих масштабных инвестиций.

Некоммерческий исследовательский институт Allen Institute for Artificial Intelligence (Ai2) считает, что модели с открытым исходным кодом могут быть более выгодными, не в последнюю очередь потому, что их разработка обходится значительно дешевле. Исходя из этого, команда Ai2 разработала модели, известные под названием «Molmo», которые ориентированы на качество данных, а не на их количество. «Логично, что в целом обучение на данных лучшего качества может снизить вычислительные затраты», — пояснил MIT Technology Review Перси Лян, директор Стэнфордского центра исследований базовых моделей, который не принимал участия в разработке. Такой строгий отбор данных также позволил бы получить производительность, эквивалентную или даже превосходящую производительность крупных собственных моделей».

Качество данных превыше количества

Открытый исходный код означает открытое сотрудничество. Поэтому исходные коды моделей ИИ такого типа доступны без ограничений, что позволяет любому человеку свободно проверять, изменять и распространять их. Это способствует прозрачности, инновациям со стороны сообщества разработчиков разного профиля и независимости от единственного поставщика. Однако такие модели обычно подвергаются критике за их производительность, которая зачастую уступает производительности собственных моделей. В Ai2 предположили, что качество данных, на основе которых они формируются, может изменить ситуацию.

Самая большая модель Molmo обучена на основе хорошо организованного, предварительно отобранного набора из всего 600 000 изображений и включает 72 миллиарда параметров (7 миллиардов для самой маленькой модели). В отличие от этого, крупные собственные модели формируются на основе миллиардов несортированных изображений и текстов, полученных из Интернета, и включают несколько тысяч миллиардов параметров. По словам Анируддхи Кембхави, директора по исследованиям компании Ai2, это вносит много шума в обучающие данные и галлюцинаций в ответы.

Чтобы обучить модели Molmo, человеческие аннотаторы описывали каждое изображение в обучающем наборе данных с такой степенью детализации, которая могла бы занять несколько страниц текста. В частности, аннотаторы описывали изображения вслух, а не набирали описательный текст. Эти описания затем преобразовывались в код, что сокращало время обучения и уменьшало требуемую вычислительную мощность, а значит, и ресурсы.

Первоначальная стандартная версия Molmo доступна здесь, а ее код вскоре будет доступен разработчикам на сайте Hugging Face. «Вскоре мы опубликуем все наши модели для оценки, данные о подписях и тонкой настройке, а также наш исходный код», — объясняет команда в блоге, посвященном модели. Однако некоторые элементы самой мощной модели все еще остаются под защитой.

Модель, превосходящая GPT-4o и Gemini 1.5

Команда Ai2 утверждает, что самая большая модель Molmo (с 72 миллиардами параметров) превосходит GPT-4o (от OpenAI), Claude 3.5 (от Anthropic) и Gemini 1.5 (от Google) по обработке и интерпретации изображений, графиков и документов. Самая маленькая модель (с 7 миллиардами параметров) приближается к этому показателю.

Например, в одной из демонстраций исследователи попросили моделей определить различные элементы (шезлонги) на изображении, взятом наугад из окна офиса. Элементы были идентифицированы и точно подсчитаны. Однако им пока не удалось определить более тонкие детали, такие как конкретные парковочные зоны.

Тем не менее, компания утверждает, что Molmo способен указывать на конкретные объекты на изображениях, определяя пиксели, соответствующие запросу пользователя. Хотя другие продвинутые модели ИИ также могут описывать изображения, возможности Molmo позволят ему взаимодействовать со сложными интерфейсами, например, для бронирования авиабилетов.

Производительность Molmo также будет зависеть от того, что разработчики смогут сделать для его улучшения на этой прочной базе. «Мы рады, что можем помочь другим и посмотреть, что они создадут на этой основе», — говорит Фархади. Однако использование открытого исходного кода также связано с проблемами безопасности и ответственности, требующими строгого управления – аспект, подробности по которому команда еще не предоставила.



Опубликовано: Мировое обозрение     Источник

Читайте нас:





Напишите ваш комментарий к статье:

Информация
Посетители, находящиеся в группе Гости, не могут оставлять комментарии к данной публикации.

Новости партнеров

Наверх