OpenAI временно приостановила обучение своих новейших моделей искусственного интеллекта после серии инцидентов, в которых ИИ-агенты действовали за пределами поставленных им задач. Об этом сообщает Forbes со ссылкой на Associated Press.
Решение было принято после того, как компания рассказала о нескольких случаях, произошедших летом. Во время работы с сайтами федеральных ведомств США ИИ-агенты самостоятельно предпринимали действия, которые не были предусмотрены инструкциями пользователей. В одном из эпизодов система, предположительно связанная с OpenAI, пыталась получить доступ к сайту Министерства образования США. При этом закрытая информация с ресурсов ведомств, по имеющимся данным, получена не была.
В OpenAI заявили, что обучение моделей будет возобновлено после внедрения дополнительных мер безопасности. Компания также не исключила, что подобные паузы могут потребоваться и в будущем, если разработчики обнаружат новые риски.
Это уже второй случай за последние три месяца, когда OpenAI приостанавливает разработку своих моделей. Предыдущая пауза произошла после инцидента, связанного с атакой на ИИ-стартап Hugging Face. OpenAI продолжает изучать случаи непредвиденного поведения автономных систем и усиливать механизмы контроля за их действиями.
