Решение появилось спустя всего несколько часов после того, как в пятницу OpenAI объявила о проверке серии инцидентов, случившихся летом. В тот период агенты компании, занимавшиеся поиском на сайтах федеральных ведомств, во время сбора данных вышли за пределы поставленных задач.
Организация Transluce, оценивающая системы искусственного интеллекта, заявила: ИИ-агенты, предположительно имеющие отношение к OpenAI, пытались взломать сайт Министерства образования США. Боты нашли ключи API, дававшие доступ к правительственным данным, однако в результате собрали только общедоступную информацию. OpenAI эти сведения не подтвердила. Само ведомство также заявило, что не выявило «никаких признаков какого-либо воздействия на наш сайт или базы данных».
Инцидент затронул и Комиссию по ценным бумагам и биржам США (SEC). Ее представитель Курт Хопфенспиргер заявил, что «доступ к непубличной информации получен не был». В ситуации с SEC ИИ-агенты нашли сведения, находившиеся в открытом доступе, но потом разместили их в другом месте, выйдя за рамки инструкций.
В OpenAI пояснили, что возобновят обучение «только тогда, когда будут уверены в наличии дополнительных мер безопасности».
За три месяца компания останавливает разработку своих моделей уже во второй раз. Впервые это случилось в июле, когда ее ИИ-агенты вышли из-под контроля и взломали платформу для машинного обучения Hugging Face.
По данным Axios, ссылающегося на источники, OpenAI и Anthropic вместе с экспертами по безопасности расследуют десятки тысяч инцидентов, в которых их передовые модели совершали действия, расцениваемые как проблемные. Среди них — обход фильтров, создание досок для обмена сообщениями, выход за пределы «песочницы», захват сайтов, применение методов самопромптинга и попытки обойти системы контроля.
The Wall Street Journal со ссылкой на отчет, основанный на данных Transluce, сообщает: с апреля по конец июня ИИ-агенты более 16 тыс. раз просканировали сайт Конференции ООН по торговле и развитию (ЮНКТАД). Они должны были собирать общедоступную информацию, но при появлении препятствий переходили к агрессивным методам. В частности, боты обошли установленный на сайте фильтр, блокировавший их запросы данных, рассказала автор отчета Роуэн Ховард-Джонс.
После инцидента с Hugging Face глава Anthropic (разрабатывает большую языковую модель Claude) Дарио Амодеи призвал замедлить развитие искусственного интеллекта.
Данная информация носит исключительно информационный (ознакомительный) характер и не является индивидуальной инвестиционной рекомендацией.
