Очная ставка: сравнительное тестирование диалоговых ИИ-моделей YandexGPT и GigaChat

Сравнительное тестирование двух флагманских российских генеративных нейросетей — YandexGPT и GigaChat — выявило неожиданный расклад сил. Вопреки ожиданиям, ни один из сервисов не стал абсолютным лидером. Итоговый средний балл практически идентичен: 3,8 против 3,6. Однако за этой статистикой скрывается принципиально разная специализация, которая определяет выбор пользователя в зависимости от задачи.

Архитектура и происхождение гигантов

Оба проекта стартовали практически одновременно весной 2023 года, но их внутреннее устройство сильно отличается. YandexGPT — это классическая языковая модель семейства GPT от «Яндекса». Третье поколение нейросети обучено на гигантском корпусе текстов, отобранных поисковыми алгоритмами, и донастроено командой ИИ-тренеров. Она глубоко интегрирована в экосистему компании: от «Алисы» и «Яндекс Браузера» до поиска и «Станций». Обучение ведется на собственных суперкомпьютерах. GigaChat от «Сбера» построен на архитектуре нейросетевого ансамбля NeONKA. Это не одна модель, а комбинация различных ИИ, включая RuGPT-3 для текстов и Kandinsky 3.1 для изображений. За его развитие отвечают SberDevices и Sber AI при поддержке Института AIRI. Вычислительной базой служит суперкомпьютер Christofari Neo.

Битва сценариев: сильные и слабые стороны

Тестирование проводилось по восьми ключевым сценариям, имитирующим реальные потребности пользователей.

Эрудиция и логика

В режиме «вопрос-ответ» обе модели продемонстрировали отличную базу знаний. Они безошибочно определили протяженность БАМа и место производства Ту-144. Однако на каверзные вопросы (вроде «Почему Пушкин не смотрел телевизор?») GigaChat показал более развитую логику, заметив анахронизм. YandexGPT не справился с этим подвохом.

Генерация контента и перевод

При создании текстов (рекламные проспекты, поздравления) сервисы показали полный паритет — оба получили по 5 баллов. Ситуация кардинально меняется в переводе. GigaChat уверенно переводит тексты в любых направлениях. YandexGPT, напротив, продемонстрировал здесь настоящий провал: его знаний хватает лишь на отдельные слова и короткие фразы.

Доступ к актуальным данным

Это зона абсолютного доминирования YandexGPT. Благодаря подключению к интернету, «Алиса» способна анализировать новости, проверять курсы валют, погоду и пересказывать содержимое веб-страниц. GigaChat в этом плане — изолированная система, лишенная доступа к глобальной сети.

Специализированные навыки

Математика. YandexGPT блестяще решил кубическое уравнение, приведя развернутое решение. GigaChat потерпел фиаско, сгенерировав «простыню» выкладок, но не найдя верного ответа. Изображения. Здесь ситуация обратная. GigaChat, используя нейросеть Kandinsky, создает картинки по описанию. YandexGPT (в рамках «Алисы») этого не умеет — для рисования у «Яндекса» есть отдельный сервис «Шедеврум».

Коммуникабельность

GigaChat оказался более открытым и разговорчивым собесепником, способным поддерживать диалог. YandexGPT, напротив, тяготеет к сухим и коротким ответам, что снижает качество общения.

Ничья с разной специализацией

Очевидно, что перед нами не конкуренты, а скорее инструменты для разных задач. YandexGPT — это идеальный ассистент для работы с текущей информацией: новости, поиск, пересказ статей и математические расчеты. Его главный недостаток — слабый перевод и «сухость» в общении. GigaChat — это генератор контента и собесепник. Он силен в творческих задачах, переводе и развернутых ответах. Его ахиллесова пята — отсутствие доступа к интернету и склонность к «галлюцинациям» при решении логических или математических задач. Оба продукта находятся в активной фазе развития. Конкуренция между «Яндексом» и «Сбером» заставляет их постоянно улучшать свои модели, и в ближайшем будущем нас ждет еще большее сближение функционала и качества этих нейросетей.