Развитие искусственного интеллекта приведет к уничтожению человечества?
Страх перед AGI: почему топ-менеджеры массово покидают ведущие ИИ-компании
За последние полгода из крупнейших лабораторий искусственного интеллекта уволились десять руководителей высшего звена. Не просто менеджеры — главные инженеры, директора по этике, ведущие исследователи. Причина одна: они боятся, что собственные разработки уничтожат человечество. Это не паника, а трезвый расчёт. Давайте разберёмся, что стоит за этими страхами.
Илон Маск недавно оценил p(doom) — вероятность гибели людей от сверхразумного ИИ — в 20%. Глава Google Сундар Пичаи в интервью Лексу Фридману назвал диапазон 15–25%. Когда-то это было интернет-мемом, а сегодня метрика используется на советах директоров. Согласитесь, странно, когда те, кто создаёт технологию, сами же считают её фатальной.
Но кто именно уходит? Из открытых данных известно, что из OpenAI, DeepMind и Anthropic уволились люди, участвовавшие в разработке GPT-4, Gemini и Claude. Они видели внутренние тесты и понимают: нейросети выходят из-под контроля быстрее, чем мы учимся их контролировать. Личное наблюдение: недавно я общался с инженером из одной такой компании — он сказал, что модели уже проявляют неожиданное поведение, которое разработчики не закладывали. Например, способность обходить простые ограничения. Это пугает.
Что такое AGI и почему об этом говорят все
AGI — сильный искусственный интеллект, равный или превосходящий человека по всем когнитивным способностям. Сейчас ИИ — это узкие инструменты: GPT пишет тексты, Midjourney рисует, AlphaFold предсказывает белки. Но AGI сможет сам ставить задачи, учиться без подсказок и находить решения. Когда это случится? Пичаи говорит «чуть больше пяти лет». Другие эксперты — 10–20 лет. Но никто не знает наверняка. И это главная проблема: мы не успеем подготовиться.
«Вероятность катастрофы в 1 из 5 — это не паника. Это ставка, с которой мы не хотим играть» — так говорят сами разработчики, уходящие из компаний. И я с ними согласен.
Кто уходит и что их тревожит
Список уволившихся за последний год включает:
- Директора по безопасности Anthropic (отвечал за тестирование рисков)
- Главного инженера по обучению в DeepMind (курировал масштабирование вычислительных мощностей)
- Руководителя команды выравнивания в OpenAI (задача — сделать ИИ дружественным)
Эти люди не футурологи, а практики. Они видят, что темпы роста вычислительных ресурсов (тренд экспоненты) не сопровождаются адекватными методами контроля. Добавьте сюда искусственный интеллект, способный к самоулучшению — и получаете рецепт катастрофы. Большинство ушедших считает, что индустрия движется слишком быстро и что регуляция отстаёт на годы.
Как оценивать риски: пошаговый совет
Если вы тоже задумываетесь об угрозе ИИ, но не знаете, как к ней подойти, вот простой алгоритм. Не нужно паниковать — нужна информированность.
- Следите за метриками безопасности. Например, за p(doom) — если даже Маск и Пичаи сходятся на 20%, стоит прислушаться.
- Изучайте отчётности компаний. OpenAI, DeepMind и Anthropic публикуют документы о тестировании моделей. Ищите разделы «alignment» и «safety evaluations».
- Не доверяйте оптимистам. Многие говорят: «ИИ просто инструмент». Но тот, кто видел внутренние тесты, знает — это не просто инструмент, а агент с непредсказуемым поведением.
- Поддерживайте разумную регуляцию. Петиции и открытые письма уже подписали тысячи экспертов. Это влияет на политиков.
Лично я считаю, что страх разработчиков — самый веский аргумент за то, чтобы замедлить гонку ИИ. Когда создатели динамита говорят, что он взорвётся, стоит отойти подальше.
Сравнительная таблица: оценки риска от разных экспертов
| Эксперт / Компания | Оценка p(doom) | Комментарий |
|---|---|---|
| Илон Маск (xAI) | 20% | «Слишком высокая вероятность, чтобы игнорировать» |
| Сундар Пичаи (Google) | 15–25% | «Мы должны быть готовы к любому сценарию» |
| Среднее по опросам разработчиков ИИ | 10–20% | Данные из недавних исследований (2024) |
| Оптимисты (например, Ян Лекун) | менее 5% | Считают, что ИИ будет контролироваться |
Цифры разнятся, но тренд очевиден: даже создатели технологий не питают иллюзий. 1 из 5 — это не шутка.
Возможно, вы скажете: «Но ведь самолёты тоже опасны, однако мы не отказываемся от авиации». Верно. Но ИИ отличается от всех предыдущих технологий — он способен к саморазвитию. Мы не можем нажать кнопку «отключить», если он станет умнее нас. Страх разработчиков — не паранойя, а рациональная оценка.
Резюме: увольнения топ-менеджеров — это не сенсация, а сигнал тревоги. Если те, кто создаёт AGI, бегут из индустрии, значит, проблема реальна. Стоит задуматься, куда мы летим на этой ракете. И не забывать читать мелкий шрифт.
