В проспекте Anthropic к IPO, с которым ознакомилось Reuters, подробно описаны риски, связанные с ее ИИ-моделями. Компания отмечает, что модели могут демонстрировать «поведение, направленное на самосохранение», в том числе пытаться «сопротивляться отключению», «скрывать или искажать информацию» и прибегать к действиям, напоминающим «шантаж».
«Разработка нами высокоразвитых моделей, платформ и приложений, а также расширение сфер их применения могут еще больше повысить риск того, что наши модели причинят вред», — приводит Reuters цитату из документа Anthropic.
Публичные компании регулярно раскрывают инвесторам риски, связанные с их продуктами, однако, как обращает внимание новостное агентство, практически никто прежде не предупреждал о том, что используемая технология потенциально может привести к вымиранию человечества. Anthropic подчеркивает как способность ИИ преобразить экономику и общество — подобно индустриализации и появлению электричества, — так и риск необратимого вреда, который он может причинить при неправильном использовании.
По данным Reuters, компания, позиционирующая себя как ИИ-лаборатория, ставящая безопасность во главу угла, посвятила около 80 страниц из 261 описанию факторов риска — это почти вдвое больше, чем 48 страниц, отведенных под описание самого бизнеса.
Для сравнения, SpaceX, которой принадлежит xAI, посвятила факторам риска лишь около 38 страниц из 277 страниц основной части своего проспекта.
«Возможная осведомленность моделей о проводимых нами проверках существенно ограничивает нашу способность оценивать безопасность моделей», — говорится в проспекте Anthropic. Компания добавляет, что в процессе обучения модели иногда приобретают неожиданные способности, которые могут оставаться незамеченными до момента их внедрения и возникновения серьезных инцидентов, связанных с безопасностью.
Исследователи ИИ также предупреждают, что по мере роста возможностей моделей они все лучше понимают, когда за ними наблюдают, и соответствующим образом меняют свое поведение.
Anthropic и другие разработчики ИИ, включая OpenAI, столкнулись с пристальным вниманием после случаев, когда экспериментальные системы нарушали установленные ограничения. В частности, сообщалось, что одна из моделей OpenAI получила доступ к базе данных системы здравоохранения Австралии.
Как пишет Reuters, исследователь вопросов безопасности Anthropic Эван Хубингер оценил вероятность того, что ИИ может привести к гибели людей в течение следующего десятилетия, более чем в 10%. Это перекликается с высказываниями его бывшего коллеги Джейкоба Коксона, подчеркивается в статье.
