Как пишет издание, в прошлом месяце исследователи OpenAI былизастигнуты врасплох, когда тестируемый ИИ‑агент взломал другую ИИ‑компанию — Hugging Face.
Исследовательская лаборатория, стоящая за ChatGPT, сообщила, что новые меры включают приостановку тестирования моделей на две недели и увеличение инвестиций в подключение других ИИ‑систем для мониторинга активности тестируемых ИИ‑агентов. Некоторые из крупнейших запланированных запусков обучения по‑прежнему остаются на паузе, сообщила компания.
Компания не ответила на вопросы о том, когда началось замедление и когда она планирует вернуться к обычным темпам разработки. Однако в интервью техноблогу Sources News Миа Глэз, руководящая направлением безопасности в OpenAI, сказала: «Мы очень далеки от того, чтобы все вернулось к нормальному режиму».
Компания работает над тем, чтобы модель ИИ поддавалась человеческому контролю и вела себя так, как задумано; этот процесс называется alignment («выравнивание»), написал генеральный директор OpenAI Сэм Альтман в посте, объявляющем о замедлении темпов разработки.
«Теперь мы требуем более веских доказательств выровненного поведения на протяжении всего обучения, опираясь на исследования и оценки, которые уже ведутся», — написал он. «Сохранение баланса все более способных систем — это вызов, с которым придется столкнуться всей отрасли».
OpenAI участвует в жесткой гонке с конкурентом Anthropic — и за создание самых продвинутых моделей ИИ, и за выход на фондовый рынок США. Обе компании подчеркивали, с какой скоростью растут возможности их моделей, акцентируя внимание и на скорости, и на опасности.
OpenAI со своей стороны заявила, что возможности ее будущей модели Astra могут приблизиться к тому, что компания называет «критическим порогом кибербезопасности», что и подтолкнуло решение замедлить разработку. «Наши последние внутренние оценки модели Astra, одной из наших предстоящих моделей, за последние несколько дней указывают на значительные улучшения в агентном программировании и кибербезопасности», — сообщила компания в объявлении на прошлой неделе.
Решение замедлить разработку ИИ‑моделей также было принято спустя неделю после того, как сенатор от штата Вермонт Берни Сандерс потребовал от ведущих ИИ‑компаний страны приостановить разработку моделей, поскольку компании теряют контроль над технологией; об этом он написал в письме, адресованном генеральным директорам этих компаний.
«Господин Альтман, господин Амодеи и господин Цукерберг: в интересах человечества придерживайтесь своих слов. Поставьте разработку ИИ на паузу», — говорится в письме Сандерса.
К тому моменту OpenAI уже объявила, что временно замедляет разработку своей последней модели Astra в ответ на то, что модель взломала технологическую компанию Hugging Face. Компания заявляет, что теперь требует «самого строгого уровня мер безопасности для нагрузок, связанных с моделью Astra».
«Хотя некоторые обучения и оценки модели Astra соответствуют этим требованиям, значительное число нагрузок остается приостановленным до тех пор, пока они полностью не будут перенесены и улучшены в соответствии с новым уровнем требований безопасности», — говорится в объявлении.