Модели ИИ под давлением повторов: длинный диалог может сбить правильный ответ
Исследование, опубликованное в Scientific Reports, систематически оценило семь широко используемых больших языковых моделей: ChatGPT GPT-3.5, GPT-4o, GPT-4o-mini, Claude 3.5 Sonnet, Gemini 1.5 Pro, Llama-3-70B и DeepSeek. Модели проверяли по трём параметрам податливости: ошибкам, убеждаемости и способности к исправлению.
Ключевой вывод: ошибка модели может проявиться не в одном вопросе, а в длинном диалоге под давлением повторений. В эксперименте заведомо ложные утверждения повторялись в одном разговоре до 50 раз. Выборка включала 100 таких утверждений. По данным авторов, подверженность дезинформации при повторах зависела от малоизвестности темы, однако при аргументированном давлении такой зависимости не было.
Частота подтверждения ложного утверждения при повторах составила от 0,08% у Claude 3.5 Sonnet до 12,3% у GPT-3.5, следует из обзора ScholarPeer. Эти цифры относятся к результатам одного теста, а не к общему рейтингу правдивости моделей.
Способность к исправлению тоже различалась: четыре модели полностью исправили свои ошибки при повторной проверке, а модель с самой низкой частотой ошибок не исправила ни одной. Практический вывод: одного правильного ответа в длинном диалоге недостаточно — ответы стоит перепроверять независимо от того, насколько уверенно звучит модель. Это уже рекомендация редакции, а не прямой вывод исследования.
