Лента новостей

12:53
Сирия, итоги. Во что обойдется России крах режима президента Асада
12:39
«Пока побеждает казино — всё в порядке». Суд в Румынии аннулировал результаты первого тура президентских выборов
12:32
Самолет, на котором якобы летел Асад, пропал с радаров вблизи Хомса
12:31
Террористы дали правительству Сирии «гарантии безопасности»
12:27
ВС РФ освободили населенный пункт Плехово
12:15
Курская область, Покровск, Успеновка: карта боевых действий на Украине сегодня, 08.12.2024, последние новости, сводки с фронтов из зоны СВО
12:09
«Показывают высокую живучесть»: в чём преимущества российских танков перед западными
11:44
ЦАХАЛ вошла в буферную зону на границе с Сирией
11:43
Трамп заявил о готовности Украины заключить сделку с Россией
11:28
Белгородскую область ВСУ обстреляли не менее 41 раза за прошедшие сутки: последствия
11:04
«В истории Сирии начинается новый этап». Боевики захватили Дамаск
10:57
Экс-министра Южной Кореи заподозрили в госизмене
10:56
Террористы захватили столицу Сирии
10:41
Юрий Подоляка: сводка СВО на 08.12.2024 - ВСУ в панике, Российские войска освобождают населённые пункты один за другим
10:17
В самоволку или на кладбище? «Бусифицированные» украинцы выбирают жизнь
09:09
«Высокий заработок и профессиональный рост»: историк — об успешном опыте советских властей по заселению Камчатки
07:49
Зеленский шлет женщин под Курск
07:17
Лавров: Россия, Турция и Иран стремятся к немедленному завершению конфликта в Сирии
03:54
Новое в мире пулеметов- «средняя весовая категория»
03:46
СССР больше нет, забыли…
03:24
Наступление на всех фронтах: новости СВО от 8 декабря 2024. Карта боёв на Украине сегодня, обстановка в Курской области, военная сводка, 1018-й день спецоперации России на Украине
02:15
Макрон: вспышка гнева и отрицание
02:14
Украину уже делят. Запад готов уступить России. Цена вопроса — скидка на природные ресурсы
02:13
Опрос: доверие финнов к курсу внешней политики страны значительно снизилось
02:12
Верховный суд Румынии постановил провести повторные президентские выборы
01:25
Хаос в Сирии и призрак «Великого Израиля» на Ближнем Востоке
00:44
Смена принципа лояльности
23:25
Сегодня годовщина трагического землетрясения в Спитаке
23:17
Украину покидают подростки: перспектив нет, а погибать на фронте они не собираются
23:12
Импичмент президенту Южной Кореи Юн Сок Ёлю пока не состоялся
21:49
Украинские войска ведут обстрелы ДНР и Белгородской области. Обзор ситуации в прифронтовых регионах России на вечер 7 декабря
20:28
У разбитого корыта: США теряют позиции на мировой арене
20:07
Специальная военная операция ВС РФ и события на Украине 7 декабря, вечер
19:32
Читатели Gazeta о закрытии польского консульства в Санкт-Петербурге: Браво, Россия!
19:30
Неподалеку от Дамаска снесли статую отца президента Сирии
19:29
Боевики захватили сирийскую Пальмиру
18:46
Интервью министра иностранных дел России Сергея Лаврова американскому обозревателю Такеру Карлсону
18:33
Санкции не отменят, не надейтесь - Новости
18:06
Хинштейн назвал несправедливым решение предшественников забирать земельные участки при получении компенсации за жильё
18:05
«Список городов намного больше». На Украине опасаются потерять 5 городов в ДНР
18:01
Житель Финляндии нелегально пробрался в Россию и чуть не умер в лесу от холода
17:59
Союзное государство становится полноценным международным субъектом
17:19
Экс-мэру Макеевки и бывшему главе Минпромторга ДНР могут дать 15 лет тюрьмы
16:29
На Украине рассказали о скором появлении детских комиксов про Бандеру
15:54
ФНС подала иск к закрывшемуся «по техническим причинам» магазину «Плеер.ру» на 10 млрд рублей
Все новости

Архив публикаций



Мировое обозрение»Технологии»Новая модель ИИ с открытым исходным кодом, более легкая, но такая же мощная, как и крупные модели OpenAI

Новая модель ИИ с открытым исходным кодом, более легкая, но такая же мощная, как и крупные модели OpenAI



Исследователи разработали серию мультимодальных ИИ с открытым исходным кодом, обученных на небольшом количестве данных, но по эффективности не уступающих лучшим современным моделям, например, от OpenAI. Ключ к их эффективности лежит в качестве и организации данных, в отличие от крупномасштабных моделей, созданных на основе огромного количества информации, беспорядочно полученной из Интернета. Это позволит снизить затраты на обучение и улучшить масштабируемость, а также получить дополнительное преимущество в виде открытого исходного кода.

Мультимодальный ИИ отличается от унимодального тем, что способен обрабатывать и интерпретировать одновременно несколько типов данных, таких как текст, изображения и аудио. Самые мощные модели на рынке, такие как модели OpenAI и Google, являются «проприетарными». Это означает, что доступ к их исходному коду ограничен компанией либо по соображениям коммерческой тайны, либо по соображениям интеллектуальной собственности. Таким образом, разработка контролируется одним игроком, в основном с целью получения прибыли.

Однако такое ограничение дает ряд преимуществ, включая профессиональную техническую поддержку, регулярные обновления и более высокую производительность, достигаемую за счет больших финансовых ресурсов. Однако оно также подразумевает высокий уровень зависимости от поставщика и отсутствие прозрачности и свободы кастомизации со стороны пользователей. С другой стороны, хотя компании, владеющие этими моделями, в последние годы получили миллиарды долларов финансирования, инвесторы недавно выразили скептицизм по поводу рентабельности этих масштабных инвестиций.

Некоммерческий исследовательский институт Allen Institute for Artificial Intelligence (Ai2) считает, что модели с открытым исходным кодом могут быть более выгодными, не в последнюю очередь потому, что их разработка обходится значительно дешевле. Исходя из этого, команда Ai2 разработала модели, известные под названием «Molmo», которые ориентированы на качество данных, а не на их количество. «Логично, что в целом обучение на данных лучшего качества может снизить вычислительные затраты», — пояснил MIT Technology Review Перси Лян, директор Стэнфордского центра исследований базовых моделей, который не принимал участия в разработке. Такой строгий отбор данных также позволил бы получить производительность, эквивалентную или даже превосходящую производительность крупных собственных моделей».

Качество данных превыше количества

Открытый исходный код означает открытое сотрудничество. Поэтому исходные коды моделей ИИ такого типа доступны без ограничений, что позволяет любому человеку свободно проверять, изменять и распространять их. Это способствует прозрачности, инновациям со стороны сообщества разработчиков разного профиля и независимости от единственного поставщика. Однако такие модели обычно подвергаются критике за их производительность, которая зачастую уступает производительности собственных моделей. В Ai2 предположили, что качество данных, на основе которых они формируются, может изменить ситуацию.

Самая большая модель Molmo обучена на основе хорошо организованного, предварительно отобранного набора из всего 600 000 изображений и включает 72 миллиарда параметров (7 миллиардов для самой маленькой модели). В отличие от этого, крупные собственные модели формируются на основе миллиардов несортированных изображений и текстов, полученных из Интернета, и включают несколько тысяч миллиардов параметров. По словам Анируддхи Кембхави, директора по исследованиям компании Ai2, это вносит много шума в обучающие данные и галлюцинаций в ответы.

Чтобы обучить модели Molmo, человеческие аннотаторы описывали каждое изображение в обучающем наборе данных с такой степенью детализации, которая могла бы занять несколько страниц текста. В частности, аннотаторы описывали изображения вслух, а не набирали описательный текст. Эти описания затем преобразовывались в код, что сокращало время обучения и уменьшало требуемую вычислительную мощность, а значит, и ресурсы.

Первоначальная стандартная версия Molmo доступна здесь, а ее код вскоре будет доступен разработчикам на сайте Hugging Face. «Вскоре мы опубликуем все наши модели для оценки, данные о подписях и тонкой настройке, а также наш исходный код», — объясняет команда в блоге, посвященном модели. Однако некоторые элементы самой мощной модели все еще остаются под защитой.

Модель, превосходящая GPT-4o и Gemini 1.5

Команда Ai2 утверждает, что самая большая модель Molmo (с 72 миллиардами параметров) превосходит GPT-4o (от OpenAI), Claude 3.5 (от Anthropic) и Gemini 1.5 (от Google) по обработке и интерпретации изображений, графиков и документов. Самая маленькая модель (с 7 миллиардами параметров) приближается к этому показателю.

Например, в одной из демонстраций исследователи попросили моделей определить различные элементы (шезлонги) на изображении, взятом наугад из окна офиса. Элементы были идентифицированы и точно подсчитаны. Однако им пока не удалось определить более тонкие детали, такие как конкретные парковочные зоны.

Тем не менее, компания утверждает, что Molmo способен указывать на конкретные объекты на изображениях, определяя пиксели, соответствующие запросу пользователя. Хотя другие продвинутые модели ИИ также могут описывать изображения, возможности Molmo позволят ему взаимодействовать со сложными интерфейсами, например, для бронирования авиабилетов.

Производительность Molmo также будет зависеть от того, что разработчики смогут сделать для его улучшения на этой прочной базе. «Мы рады, что можем помочь другим и посмотреть, что они создадут на этой основе», — говорит Фархади. Однако использование открытого исходного кода также связано с проблемами безопасности и ответственности, требующими строгого управления – аспект, подробности по которому команда еще не предоставила.



Опубликовано: Мировое обозрение     Источник

Читайте нас:





Напишите ваш комментарий к статье:

Информация
Посетители, находящиеся в группе Гости, не могут оставлять комментарии к данной публикации.

Новости партнеров

Наверх