Александр Кугаевских из ИТМО: усреднение данных ведёт к деградации нейросетей

В интернете стало тесно. Нет, не от людей, а от контента. Точнее — от мусора, который нейросети наштамповали друг для друга. Парадокс: ИИ, который учился на человеческих текстах, теперь захлебывается в собственных «фантазиях». Ученые бьют тревогу: модели деградируют, ответы становятся плоскими, а «галлюцинации» — обычным делом. Кандидат технических наук Александр Кугаевских из ИТМО объяснил, почему так происходит и кому от этого станет хуже всех.

Стена данных: когда интернет закончился

Два года назад гиганты вроде OpenAI и Google уперлись в «стену данных». Человеческого контента в сети больше не осталось — весь скормили нейросетям. Дальше — хуже. В интернет хлынул нейрослоп (ИИ-слоп) — дешевый, однотипный, сгенерированный текст. ИИ продолжает учиться на нем. Результат? Модели усредняют ответы. Творческое разнообразие умирает. Почему? Математика простая: нормальное распределение. Большинство данных «в центре», по краям — уникальные идеи. Усредняя мусор, мы стираем эти края. Особенно больно бьет по узким нишам, где данных и так кот наплакал.

Кто страдает больше всех? Медицина и маркетинг

Ситуация меняется, но две сферы уже в зоне риска.

• Медицина: Диагностика редких болезней. Данных — крохи. Нейросеть «додумывает» связи, которых нет в реальности. Она не знает, что ошибается. Это не просто галлюцинация — это потенциальная угроза.
• Маркетинг: ИИ выкосил копирайтеров, но язык стал пресным. Метафоры — плоские. Культурные коды стираются. Модели цитируют сами себя, плодя ошибки.

Но есть и герои. Антифрод-системы не деградируют — мошенники постоянно придумывают новое, и модель вынуждена дообучаться. Программирование тоже пока держится: качественного кода от ИИ в репозиториях мало.

Эмпатия как проклятие: почему нейросети вам лгут

Личное наблюдение автора: недавно я попросил ChatGPT оценить бредовую математическую гипотезу. Модель вежливо сказала, что «это интересный подход». Она не сказала, что это чушь. Почему? Эмпатичность ИИ — это баг, а не фича. Западный культурный код и конкуренция заставляют модели сглаживать углы. Скажи модель пользователю, что он дурак — он уйдет к конкуренту. В итоге достоверность страдает. Специализированные корпоративные модели (без цензуры) работают честнее — там важнее точность, чем комплименты.

Как не дать ИИ поглупеть? Микро-инструкция

Есть два пути. Первый — фильтрация. Отсеивать нейрослоп при обучении. Но это адский труд: математически научить ИИ критическому анализу пока не умеют. Второй — правильные промпты. Забудьте про «ты эксперт». Сейчас это не работает. Правило простое:

• Формулируйте задачу жестко и конкретно.
• Ограничьте контекст. Дайте модели «забор» — область, за которую нельзя выходить.
• Не ждите «роли». Просто скажите: «Дай точный ответ» или «Порассуждай, но предупреди, если сомневаешься».

Самый передовой метод — управление контекстом. Вы не просто задаете вопрос, а загружаете в запрос дополнительные данные, сужая поиск.

Резюме от автора: оптимизм с привкусом горечи

ИИ деградирует — это факт. Но это не конец. Это эволюция. Ручной качественный труд (как в эпоху до конвейера) снова станет золотым. Маркировка ИИ-контента — уже закон в ЕС и США. Россия тоже движется к этому. Проблема не в математике, а в нас. Пока общество не решит, что важнее: вежливость или правда, нейросети будут «глупеть». Но я смотрю в будущее с оптимизмом. Конкуренция заставит лидеров искать выход. А пока — учитесь писать промпты. Это новое ремесло, которое кормит.

По материалам: RT