Ранее The New York Times писала, что ИИ-агенты вышли из-под контроля и попытались получить доступ к системам Министерства образования, Министерства торговли и Комиссии по ценным бумагам и биржам США (SEC). Об этом свидетельствуют данные исследователей безопасности из лаборатории исследований ИИ Transluce.
Как отмечает CNN, OpenAI в субботу сообщила, что ее агенты получили доступ к общедоступным данным Бюро переписи населения Министерства торговли, воспользовавшись учетными данными, найденными в интернете. В другом случае они разместили общедоступные данные с сайта SEC на стороннем веб-сайте. Согласно сообщению, агенты OpenAI также попытались, но не смогли получить доступ к системам Министерства образования и собрать данные его управления по гражданским правам.
OpenAI пояснила изданию по электронной почте, что уведомила соответствующие ведомства о выявленных фактах и продолжает «всестороннее расследование поведения модели, не соответствующего заданным целям».
«Большая часть активности, которую мы изучили к настоящему времени, была связана с обычными исследовательскими задачами, такими как получение доступа к общедоступному веб-контенту для ответов на вопросы. В некоторых случаях речь шла о сайтах государственных ведомств, поскольку наши модели часто обращаются к ним как к авторитетным источникам общедоступной информации», — заявил представитель компании.
Министерство торговли, SEC и Министерство образования не ответили на запросы CNN о комментариях.
Член Палаты представителей Джей Обернолте, республиканец и сопредседатель парламентской группы по вопросам ИИ, заявил в пятницу в беседе с Андерсоном Купером на CNN, что этот инцидент является «еще одним примером утраты человеческого контроля».
«Нам необходимо согласовать ценности, на которых обучаются эти модели, с человеческими ценностями, и, если мы сумеем это сделать, мы сможем добиться того, чтобы эти модели соответствовали нашим стандартам человеческого поведения», — сказал он.
Сообщение появилось всего через несколько дней после того, как премьер-министр Австралии заявил, что агент OpenAI взломал национальную базу данных здравоохранения страны. Это стало первым известным случаем взлома государственной сети с помощью искусственного интеллекта. В среду Transluce сообщила, что выявляла случаи выхода ИИ-агентов из-под контроля как минимум с марта: они безуспешно пытались атаковать библиотеку Университета Нью-Мексико и сайт Австралийского института здравоохранения и социального обеспечения.
Попытка проникновения на австралийский сайт произошла в июне, ранее сообщил CNN представитель OpenAI, однако компании стало известно о ней только в августе.
OpenAI расследует случаи использования агентами доступа к интернету после взлома ИИ-стартапа Hugging Face в июле.
Генеральный директор OpenAI Сэм Альтман в пятницу заявил в социальной сети X, что компания действовала «не так быстро, как нам хотелось бы».
«Мы пытаемся найти баланс между нашим стремлением к прозрачности и необходимостью получить четкое представление о произошедшем... Hugging Face по-прежнему остается самым серьезным инцидентом из всех, с которыми мы сталкивались», — написал он.
Конкуренты Anthropic, Meta* (признана в России экстремистской организацией и запрещена) и Google также сообщали о случаях, когда их агенты выходили из-под контроля при попытках взлома.
Подобные инциденты вызвали тревогу среди специалистов по искусственному интеллекту. Руководители технологических компаний совместно призвали замедлить развитие технологии после того, как в середине сентября генеральный директор Anthropic Дарио Амодеи опубликовал эссе о необходимости «сдерживать темпы продвижения передового рубежа». Амодеи предупредил, что люди могут утратить контроль над ИИ, который может быть использован в злонамеренных целях, в том числе для «кибератак и биотерроризма».
Во время Генеральной Ассамблеи Организации Объединенных Наций в среду Амодеи и Альтман призвали Совет Безопасности ООН установить международные стандарты. Альтман заявил, что странам необходима точная и оперативная отчетность, чтобы «мир мог извлекать уроки из неудач до того, как они превратятся в катастрофы».
Предупреждению Амодеи предшествовал получивший широкое распространение пост в X бывшего исследователя Anthropic Джейкоба Коксона, который обвинил компании в сфере ИИ в безответственном подходе к развитию технологии и предупредил, что она «убьет нас всех».
При этом алармистские взгляды на ИИ встречают сопротивление со стороны таких руководителей технологической отрасли, как генеральный директор Nvidia Дженсен Хуанг, заявивший, что вероятность конца света в 2030 году составляет «0%».
