OpenAI облажалась с диаграммами на презентации GPT-5 — Альтман признал ошибку

Почему графики GPT-5 оказались подделкой: честный разбор инцидента

На днях OpenAI провела масштабную презентацию GPT-5. Показали графики, которые должны были убедить всех, что новая модель — прорыв. Но внимательные зрители заметили странное. Шкалы не совпадают, столбцы перепутаны, а цифры в блоге отличаются от того, что на экране. Разбираюсь, что пошло не так и почему это важно.

Главная ошибка: шкала не соответствует значениям

На одной из диаграмм сравнивалась «склонность к обману» разных моделей. GPT-5 якобы показала 50,0% при написании кода. У о3 — 47,4%. Но столбец о3 нарисован выше. Это базовая ошибка визуализации. Дальше — больше. В корпоративном блоге OpenAI указано другое значение для GPT-5 — всего 16,5%. Расхождение в три раза. Либо презентация враньё, либо блог.

Второй пример — тест SWE-bench Verified. Один из показателей GPT-5 должен быть ниже, чем у о3. Но столбец GPT-5 выше. Более того, результаты о3 и GPT-4o визуально одинаковы, хотя по цифрам они разные. Создаётся впечатление, что графики рисовали на коленке — или специально подгоняли под нужный нарратив.

Сэм Альтман извинился. Но хватит ли этого?

Гендиректор OpenAI Сэм Альтман признал ошибку. Написал, что правильные версии опубликованы в блоге. Вопрос: если такие ляпы допускают на главной презентации года, чему верить? Лично я замечал, что многие AI-компании любят приукрашивать результаты. Недавно наткнулся на исследование, где половина стартапов подтасовывала бенчмарки. Здесь случай явно не единичный.

Ошибка в диаграмме — не просто опечатка. Это сигнал: данные могут быть поданы так, чтобы убедить, а не проинформировать. Доверие к AI-продуктам строится на прозрачности. Когда на презентации врут графики, доверие рушится.

Как не попасться на удочку красивых графиков

Пошаговая инструкция для тех, кто смотрит презентации новых моделей:

• Сравнивай цифры из блога и из слайда. Если расходятся — красный флаг.
• Обращай внимание на шкалу. Часто ось Y начинают не с нуля, чтобы преувеличить разницу.
• Ищи исходные данные. OpenAI, например, публикует отчёты отдельно.
• Проверяй независимые бенчмарки. Если только одна компания хвалит свою модель — это подозрительно.

Что это говорит о GPT-5

Сам инцидент не отменяет того, что GPT-5 может быть мощнее предшественников. Но он показывает культуру внутри OpenAI. Если они так относятся к визуализации данных — что с алгоритмами? Разработчики хвастаются снижением галлюцинаций, но графики сами галлюцинируют. Ирония.

Моё мнение: OpenAI должна пересмотреть процедуру подготовки материалов. Одна ошибка может быть случайностью. Три — система. Пока компания не наведёт порядок с визуализациями, к любым их цифрам стоит относиться скептически. Хорошая модель не нуждается в подтасовке графиков — её результаты говорят сами за себя.