«Алиса» раскрыла рецепт приготовления «свиных крылышек» — в «Яндексе» объяснили, почему
Почему ИИ уверенно врет и не краснеет: разбор галлюцинаций на примере «свиных крылышек»
Вы когда-нибудь спрашивали нейросеть рецепт, а она выдавала несуществующее блюдо? Вот и с Алисой от Яндекса вышла конфузная история: помощник с умным видом описал приготовление «свиных крылышек». Крылышек, которых в природе не бывает. Глава бизнес-группы поисковых сервисов и ИИ в Яндексе Дмитрий Масюк признал: да, это галлюцинация. Но интересно другое — он объяснил, почему такое случается и почему пока не исчезнет.
Что такое «галлюцинация» нейросети и почему она опаснее ошибки
Обычный баг — это когда программа выдает явную чушь. А галлюцинация — это уверенный, красиво сформулированный ответ, который абсолютно неверен. ИИ-помощник не просто ошибается, а настаивает на своей правоте. В случае с «крылышками» Алиса сослалась на реально существующую статью в интернете. Только статья — тоже абсурд. Масюк пояснил: «Она ссылается на существующие источники, не выдумывает это сама». Спорная защита, правда? Нейросеть должна уметь отличать шутку или вброс от факта. Пока не умеет.
Лично я заметил такую закономерность: чем увереннее голос ИИ, тем выше риск галлюцинации. Ассистентов учат быть «живыми» и дружелюбными, поэтому они редко говорят «я не знаю». Вместо этого генерируют правдоподобный ответ из кусочков информации. Это беда всех больших языковых моделей, а не только Алисы.
Как учат нейросеть: три этапа, которые не спасают от абсурда
Масюк рассказал, что обучение Алисы проходит в три стадии. Разберу их на пальцах:
Этап 1 — «проглатывание интернета». Модель скармливают десятки терабайтов данных. Фактически это все тексты из интернета, кроме откровенного мусора. Но кто решает, что мусор, а что нет? Автоматические фильтры пропускают и «свиные крылышки» — контент-то есть.
Этап 2 — «уроки вежливости». Эксперты Яндекса составляют сотни тысяч вопросов и идеальных ответов. Так модель учится понимать, на что отвечать можно, а на что — лучше промолчать или уточнить. Но количество примеров — капля в море по сравнению с терабайтами первого этапа. Поэтому нейросеть помнит «крылышки» и считает их нормой.
Этап 3 — «надзиратель». Включают дополнительную нейросеть-оценщика. Она проверяет, насколько ответ основной модели похож на правду. Но и оценщик не идеален — он тоже обучен на том же интернете. Получается замкнутый круг.
Вот простая таблица, чтобы увидеть узкие места:
| Этап обучения | Что происходит | Главная проблема |
|---|---|---|
| 1. Загрузка данных | Обработка ~40 ТБ текстов (почти весь интернет) | Попадает много абсурда, который модель запоминает как факты |
| 2. Обучение на примерах | Разбор 200–300 тыс. пар «вопрос–правильный ответ» | Капля в море — не перебивает эффект первого этапа |
| 3. Контроль нейросетью-оценщиком | Вторая модель оценивает правдоподобие ответов | Оценщик тоже «начитан» интернетом и часто одобряет абсурд |
Вывод: галлюцинации закладываются на первом же этапе. И никакие тысячи примеров их не искоренят — пока модель не научится самостоятельно верифицировать факты.
С моей точки зрения, ссылка на «существующий источник» — это не оправдание, а симптом. Нейросеть должна понимать, что источник может быть ошибочным. Иначе она превращается в педантичного лжеца, который всё подтверждает ссылками. До появления полноценного фактчекинга внутри модели доверять ИИ-помощникам на 100% нельзя.
Почему идеально точный ИИ — скучный и бесполезный
Масюк справедливо заметил: пользователям нужен не только точный, но и живой собеседник. Если запретить нейросети фантазировать, она станет роботом-занудой. Баланс между достоверностью и естественностью — главная головная боль разработчиков. Они сознательно разрешают некоторую степень галлюцинаций, чтобы ассистент не отвечал односложно и не раздражал.
Но где грань? Когда «свиные крылышки» — это забавно, а когда опасно? Например, медицинская консультация с галлюцинацией может стоить здоровья. Яндекс, кстати, явно позиционирует Алису не как эксперта, а как помощника. Но пользователи часто забывают об этом.
Микро-инструкция: как не стать жертвой галлюцинаций ИИ
Если вы используете любую нейросеть для работы или учебы, запомните три шага:
- Шаг 1. Не верьте уверенному тону. Если ответ написан без оговорок — это повод насторожиться.
- Шаг 2. Проверяйте факты через независимые источники. Быстро ищите ключевые цифры или названия на обычных сайтах.
- Шаг 3. Спрашивайте ИИ прямо: «Ты уверен? Откуда ты это взял?» Некоторые модели показывают цитаты — если их нет, скорее всего, галлюцинация.
Эти правила спасут от рецептов из свиных крылышек и от более серьезных ошибок. Пока разработчики не научат нейросети отличать правду от вымысла, бдительность — наша единственная защита.
Резюме от автора. Галлюцинации ИИ — не баг, а фича, порожденная способом обучения. Пока интернет остается источником данных, абсурд будет иногда просачиваться. Хорошая новость: частота таких случаев снижается. Плохая: полностью исключить их нельзя. Так что сохраняйте здоровый скептицизм — даже когда нейросеть говорит очень убедительно.
