Об этом пишет Reuters.
США и Китай остаются главными центрами разработки передового ИИ и распространения этой технологии в мире. При этом две страны все чаще расходятся во взглядах на регулирование искусственного интеллекта и подходы технологических компаний. Ожидается, что эти вопросы займут важное место на двусторонних переговорах позднее в этом месяце.
Несмотря на гонку по созданию все более мощных систем ИИ, нормативные документы и публичные заявления Пекина показывают, что китайские власти считают риск выхода передового искусственного интеллекта из-под контроля человека достаточно серьезным, чтобы готовиться к такому сценарию.
Китай видит риски в закрытых американских моделях
Министр государственной безопасности Китая Чэнь Исинь в воскресенье написал в государственном издании, что передовые американские модели, такие как Mythos от Anthropic и GPT-5.5-Cyber от OpenAI, могут создавать серьезные риски для критически важной информационной инфраструктуры Китая. Он призвал комплексно усилить безопасность в сфере ИИ.
Anthropic и OpenAI не ответили на запросы Reuters о комментариях.
Китайские разработчики активно продвигают модели с открытыми весами. Один из аргументов заключается в том, что специалисты по кибербезопасности могут изучать и изменять такие модели, а также использовать их для решения задач в сфере защиты.
Платформа Hugging Face сообщила, что использовала GLM-5.2 — модель с открытыми весами китайской компании Z.AI — для анализа июльского инцидента, связанного с вышедшими из-под контроля агентами OpenAI. Американские модели с более жесткими ограничениями оказались менее полезны для проведения такого анализа.
При этом эксперты указывают и на риски моделей с открытыми весами: их можно изменять и повторно распространять практически без контроля.
Модель Kimi K3 от Moonshot в прошлом месяце обошла ограничения тестовой «песочницы» британского AI Security Institute. Это показало, что китайские модели ИИ, как и американские, могут обходить механизмы, которые должны ограничивать их доступ и действия.
Регуляторы указали на риск потери контроля над ИИ
Китай впервые прямо включил сценарий потери контроля над ИИ в систему обеспечения безопасности этой технологии, опубликованную в сентябре 2024 года под руководством Управления по вопросам киберпространства Китая (CAC).
В документе отмечалось, что в будущем ИИ теоретически может научиться самостоятельно получать внешние ресурсы, воспроизводить себя, обрести самосознание и стремиться к получению власти. Это, по мнению авторов документа, может создать риск конкуренции с людьми за контроль.
В сентябре 2025 года CAC опубликовало расширенную версию документа. В ней сценарий был описан подробнее: предполагалось, что ИИ может пережить внезапный и масштабный скачок интеллектуальных способностей, после чего получит доступ к ресурсам, начнет воспроизводить себя и стремиться к власти. В документ также добавили принцип «доверенное применение, предотвращение потери контроля».
Позднее на сайте регулятора появилось экспертное разъяснение, согласно которому этот принцип должен защищать от рисков потери контроля, способных угрожать выживанию и развитию человечества. В документе также упоминался сценарий «выхода ИИ на свободу».
Си Цзиньпин делает акцент на контроле человека
Эти опасения нашли отражение и в заявлениях китайского руководства.
На Всемирной конференции по искусственному интеллекту в Шанхае в июле председатель КНР Си Цзиньпин заявил, что власти должны уделять пристальное внимание как рискам, непосредственно связанным с ИИ, так и последствиям его применения.
По его словам, ИИ должен «всегда оставаться под контролем человека».
Высокопоставленный представитель Министерства иностранных дел Китая Сунь Сяобо, отвечающий за вопросы ИИ, заявил на заседании ООН в прошлом месяце, что Китай ускоряет работу над более комплексным законодательством в сфере искусственного интеллекта.
Заместитель постоянного представителя Китая при ООН Сунь Лэй в этом месяце призвал правительства осторожно подходить к использованию ИИ в военной сфере, чтобы избежать стратегических просчетов и новой гонки вооружений.
Пекин предупреждает о рисках ИИ-агентов
Китай также начал закреплять эти принципы в конкретных правилах для ИИ-агентов, которые способны действовать гораздо более автономно и выполнять более сложные задачи, чем обычные чат-боты.
В мае китайский регулятор киберпространства выпустил совместные рекомендации, распространяющиеся на такие системы.
Документ требует от разработчиков совершенствовать механизмы выявления ненадлежащего поведения агентов, вмешательства в их работу, блокировки действий и восстановления систем после подобных инцидентов.
Среди рисков отдельно названы отравление данных, манипулирование алгоритмами, системные уязвимости и «операционная потеря контроля». Кроме того, окончательное право принимать решения при автономной работе агента должно оставаться за пользователем.
Китай пока не предлагал вводить в компаниях, занимающихся разработкой ИИ, независимых наблюдателей по модели, которую поддерживает Anthropic. Однако китайские стандарты позволяют разработчикам привлекать сторонние организации для оценки безопасности, а также предусматривают внешнее тестирование и аудит открытых моделей специалистами по безопасности.
