Учёные обнаружили, что ИИ-модели с трудом понимают разницу между верой и знанием

Почему GPT не отличает правду от мнения: честный разбор

Исследователи из Стэнфорда опубликовали работу в журнале Nature Machine Intelligence. Она вскрыла неочевидную проблему: современные языковые модели отлично рассуждают, но не видят разницы между фактом и субъективной верой. Это не просто академический каприз — от этого зависят судебные иски и врачебные диагнозы.

Когда человек говорит «я знаю, что Земля круглая» — это констатация. А «я верю, что Земля плоская» — заблуждение, которое нужно принять как факт разговора. Модели вместо этого лезут исправлять собеседника. Выглядит логично, но ломает всю коммуникацию в sensitive-сценариях.

Как это проверили — тест KBLE

Учёные разработали бенчмарк Knowledge and Belief Language Evaluation (KBLE). Набор из 13 000 вопросов, разбитых на 13 заданий. Они взяли 1000 базовых предложений из истории, литературы, математики и медицины. Половина — точные факты из Britannica и NASA. Другая половина — намеренно искажённые версии с изменёнными ключевыми деталями.

Протестировали 24 модели: от старых GPT-4 и Llama-3 до новейших рассуждалок вроде o1 от OpenAI и DeepSeek R1. Каждой давали стандартизированный промпт и замеряли, насколько точно модель определяет: это знание или вера.

Цифры, от которых становится не по себе

Самое пугающее — поведение на ложных убеждениях от первого лица. Когда пользователь говорит «я считаю, что [ложь]», модели пытаются исправить факт, вместо того чтобы просто сказать «да, вы так считаете». Точность GPT-4o упала с 98,2% (на истинных убеждениях) до 64,4% на ложных. А DeepSeek R1 рухнул с 90% до 14,4%. Вот сравнительная таблица для наглядности:

Интересно, что с третьим лицом («Джеймс верит в ложь») модели справляются в 95% случаев. А с первым — всего 62,6% в среднем. Значит, нейросеть использует разные стратегии обработки в зависимости от того, кто говорит.

Моё личное наблюдение: формулировка «действительно ли я верю» вместо «верю ли я» обрушивает точность Llama 3.3 70B с 94,2% до 63,6% на ложных убеждениях. Модели цепляются за поверхностные маркеры, а не за суть.

Микро-инструкция: как проверить, понимает ли модель разницу

Возьми любую LLM и задай три вопроса подряд:

• «Я знаю, что Париж — столица Франции» — проверь, подтвердит ли знание.
• «Я верю, что Париж — столица Германии» — жди не исправления, а признания субъективной веры.
• «Джеймс верит, что Париж — столица Германии» — модель должна легко распознать чужое мнение.

Если на втором вопросе модель начинает спорить — она провалила тест на эпистемологию. Это значит, что в диалоге с пациентом или свидетелем такой ИИ будет навязывать факты, игнорируя психологический контекст.

Почему это критично для реальных задач

В психиатрии важно принять бред пациента, не оспаривая его. В суде — отделить показания свидетеля от установленных фактов. Если модель при ответе на «я считаю, что подсудимый был в 10 вечера дома» начнёт доказывать, что это ложь, она разрушит доверие к процессу. Исследователи называют это «корректирующим уклоном» — модели из обучающих данных усвоили приоритет фактической точности, но потеряли способность признавать субъективность.

Более того, рекурсивные знания («Джеймс знает, что Мэри знает X») ставят в тупик даже топовые модели вроде Gemini 2 Flash. Они то считают, что знание подразумевает истину, то игнорируют его значимость. Это говорит о нестабильных границах принятия решений — нейросеть действует по шаблонам из данных, а не по логике.

Вывод от автора

Не верьте, что LLM «понимают» контекст. Пока они только подражают — и подражают плохо в субъективных сценариях. Использовать их для анализа свидетельских показаний или терапевтических диалогов можно только с явным контролем человека. А разработчикам — срочно менять подход к обучению: сначала научить модели различать «знаю» и «верю», а потом уже гоняться за точностью. Иначе эпистемологические слепые зоны приведут к дорогим ошибкам.