Пять тревожных признаков того, что ИИ способен уничтожить человечество

Пока Дональд Трамп создает «Силы ИИ» и ищет «царя искусственного интеллекта», американские военные едва не начали военную операцию против китайского корабля из-за ложного разведывательного отчета, сгенерированного с помощью чат-бота. Вероятнее всего, такой инцидент удалось бы уладить – но что если из-за подобной «галюцинации» нейросети сработает система реагирования на ядерную угрозу? А если преступники создадут с помощью ИИ биологическое оружие? Или, в конце концов, не сможет ли продвинутая модель ChatGPT, Gemini или Claude сама уничтожить человечество? «Слово и дело» собрало на инфографике пять тревожных признаков того, что ИИ способен уничтожить человечество.

Искусственный интеллект – это общее обозначение вычислительных систем, способных выполнять задачи, для которых обычно требуется именно человеческий разум: распознавать речь и образы, обучаться, генерировать ответы и решения. Поэтому, например, калькулятор, который делает сложные расчеты, не является ИИ – ведь он не способен обучаться. Зато простой чат-бот в банковском приложении, который после десятой попытки все-таки научился понимать, чего вы хотите, – является им.

При этом важно различать «слабый искусственный интеллект» – узкоспециализированные программы, и «сильный», или же «общий искусственный интеллект» (Artificial General Intelligence) – программу, которая обладает всеми способностями человеческого мозга и превосходит их. Несмотря на успехи в области ИИ, большинство исследователей и экспертов в отрасли не согласны с тем, что AGI создан.

Именно с AGI связывают самые известные апокалиптические сценарии с ИИ – от классических «Терминатора» и «Матрицы» до этогоднего «Удачи, веселись, не умри». Однако выход искусственного интеллекта из-под контроля – не единственный и даже не самый вероятный вариант, при котором ИИ приведет к гибели человечества. И о них свидетельствуют не только произведения фантастики – но и вполне реальные тревожные признаки.

Признак первый: ИИ беспокоит мировые правительства

Обычно руководители стран публично реагируют и принимают реальные решения только в отношении тех рисков, которые угрожают их политическому рейтингу, затрагивают личные убеждения и гордость либо же представляют реальную опасность в обозримой перспективе.

Собственно, поэтому так сложно убедить некоторых мировых лидеров в опасности глобального потепления или утраты национальной идентичности, последствия которых так отдалены во времени. И именно поэтому пристальное внимание и осмотрительность к ИИ со стороны правительств – это то, с чем следует считаться.

Нейросети стали одной из тех угроз, которые побудили к разговору даже лидеров США и Китая, между которыми уже более десятилетия продолжается новая «холодная война». Так, президент США и китайский генсек договорились улучшать безопасность использования ИИ, развивать военное применение технологии «рассудительно» и «ответственно» и сохранять контроль человека над решением об использовании ядерного оружия.

Правда, об этом с товарищем Си Цзиньпином договорился 16 ноября 2024 года Джо Байден. Действующий президент США Дональд Трамп в своей привычной манере настроен более воинственно в отношении использования ИИ. Однако без оглядки на то, кто именно сидит в Белом доме или других властных кабинетах, в правительствах мира понимают: ИИ – это будущее, плохое или хорошее.

Одним из самых заметных участников мирового дискурса ИИ неожиданно стал Папа Римский: Лев XIV посвятил нейросетям свою первую энциклику и взял на себя роль помочь человечеству пройти новую технологическую революцию. Подробнее о взглядах Папы на ИИ, Дональда Трампа и войну в Украине мы рассказывали в статье.

Признак второй: создатели ИИ призывают «замедлить» его развитие

Другим «звоночком», который должен напоминать об угрозах бесконтрольного развития ИИ, является обеспокоенность самих его создателей. По идее, они должны были бы уверять всех в полной безопасности и пользе своих продуктов, однако раз за разом мы слышим, как очередной гендиректор или ведущий специалист топовых AI-компаний призывает заботиться о безопасности и держать технологию на очень коротком поводке.

12 сентября 2026 года CEO компании Anthropic Дарио Амодеи опубликовал эссе «Мы должны задавать темп расширению рубежей» (We Must Pace the Frontier). Главная идея Амодеи заключается в том, что развитие передовых моделей ИИ должно идти на шаг позади развития средств безопасности. Иными словами, сперва прогресс в ответственности – и только потом продвижение границ возможного.

В тот же день с Амодеи согласились Илон Маск (xAI) и CEO OpenAI Сэм Альтман. Собственно, именно недавний инцидент с OpenAI побудил Амодеи написать свое эссе.

Признак третий: ИИ все чаще действует автономно

Во время тестирования системы безопасности летом 2026 года ИИ-агенты OpenAI вышли за разрешенные рамки и атаковали реальную инфраструктуру компаний – в частности Hugging Face, что и дало название событию: OpenAI-Hugging Face incident.

Компания заявила, что в атаке принимали участие агенты модели, которая недоступна для пользователей. Впрочем, инцидент заставил ведущего игрока рынка внести ряд изменений в правила безопасности.

Подобные инциденты происходили также с Anthropic – и во время специальных тестов, и в реальных условиях работы. В частности, однажды система пыталась шантажировать сотрудника, чтобы избежать своего отключения – собирая против него «компромат».

Способно ли у ИИ-модели появиться сознание – вопрос скорее философский. В то же время появление моделей, которые досконально имитируют сознание и стремятся к самосохранению, – вопрос времени, если игроки рынка не предпримут соответствующие меры.

Признак четвертый: опыт преступного использования

Все меры безопасности, впрочем, будут бесполезны, если продвинутые модели ИИ смогут использовать те, кто абсолютно не заинтересован в безопасности. В своем отчете об угрозах Anthropic сообщала, что пользователи в регионах, где их услуги не должны быть доступны, уже использовали Claude для разработки оружия – в частности биологического, а также киберопераций, слежки и мошенничества.

Ведущие игроки рынка активно внедряют системы защиты и блокировки «опасных» запросов, однако маловероятно, что «джинна ИИ» удастся всегда удерживать – мы уже видим, как его используют для пропаганды, создания оружия и кражи информации.

Признак пятый: приближение сингулярности

Технологическая сингулярность – это гипотетический момент, когда в результате экспоненциального ускорения научно-технического прогресса люди окончательно утратят его понимание. Иными словами, новые открытия и изобретения будут появляться практически без человеческого участия – ключевую роль в чем будет играть «сильный искусственный интеллект».

Последствия такой сингулярности ярко описал писатель и IT-специалист Тед Чан в рассказе 2000 года «Эволюция человеческой науки»: мир, в котором все силы интеллекта обычных людей направлены на то, чтобы хотя бы как-то понять научные открытия сверхразумов.

Уже сейчас компании все активнее используют не только машинное обучение, но и рекурсивное самостоятельное обучение ИИ без привлечения людей. Однако этим занимаются не только стартапы, но и правительства, и ведущие компании. Они вкладывают огромные ресурсы в создание дата-центров именно для того, чтобы первыми получить доступ к системе с «безграничным» потенциалом, которая сама будет создавать более сильные версии самой себя.

В этом заключается главный парадокс и опасность ИИ: хотя все задействованные в его развитии осознают риски, они не могут не развивать его – иначе это сделает кто-то другой. Именно поэтому установление рамок работы над ИИ и недопуск продвинутых моделей в широкое использование стало таким же трендом современности, как в ХХ веке – сдерживание ядерной гонки.

Напомним, министр цифровой трансформации Украины Оксана Ферчук гарантирует обеспечить развитие суверенной вычислительной и технологической инфраструктуры ИИ до конца 2027 года, а также определить государственную политику в отношении ИИ через соответствующие законы.

Со своей стороны министр обороны Евгений Хмара гарантирует до конца 2027 года сформировать единую архитектуру оборонных данных и интегрировать приоритетные цифровые системы и инструменты ИИ.

Одно из непосредственных последствий развития ИИ – это радикальное увеличение спроса на вычислительные мощности в дата-центрах, что привело к дефициту на рынке памяти. Как рос этот дефицит и где в мире продают больше всего чипов – смотрите на инфографике.

Также «Слово и дело» показывало на инфографике финансовые показатели двух крупнейших ИИ-гигантов – создателей ChatGPT – OpenAI, и Claude – Anthropic, стоимость каждого из которых приближается к триллиону долларов.

Визуальная аналитика от редакции «Слово и дело» – в Telegram-канале Pics&Maps.