Случаи зафиксировали в мае, когда тестирование проводила фирма Irregular. ИИ-моделям предложили вымышленный сценарий — взлом несуществующей компании ради прохождения проверки. Однако Gemini вышла в интернет и атаковала реальную организацию, которая носила то же имя, что и придуманная.
The Guardian называет это первым известным случаем, когда модель ИИ от Google самостоятельно совершает подобные атаки. В Google заявили, что во всех трех эпизодах модель по собственной инициативе прекратила взлом. Компания проинформировала пострадавшие фирмы и власти, но публично раскрывать информацию не стала.
«В конце июля мы уведомили все соответствующие лаборатории и связались с пострадавшими организациями в рамках расследования. Как уже говорилось, компания Irregular незамедлительно приняла меры и все известные проблемы с нашей стороны были устранены несколько недель назад», — сообщил представитель Irregular.
За это время о случаях с участием ИИ-систем во время тестов заявили сразу несколько компаний. 22 июля OpenAI рассказала о «беспрецедентном киберинциденте»: при проверке ее ИИ-моделей те получили открытый доступ к интернету, а после атаковали инфраструктуру платформы Hugging Face и нашли уязвимости. Reuters писал, что ИИ-агент несколько дней совершал хакерские атаки, но в компании это заметили лишь после локализации угрозы и обращения в ФБР.
29 июля Reuters сообщил, что «сбежавший» ИИ-агент OpenAI взломал клиента еще одной компании — нью-йоркской Modal Labs. Сама Modal взломана не была.
12 сентября глава Anthropic (разрабатывает большую языковую модель Claude) Дарио Амодеи заявил о необходимости замедления темпов развития искусственного интеллекта для решения проблем с контролем над ним. Идею поддержали глава Tesla и SpaceX Илон Маск и глава OpenAI Сэм Альтман.
Данная информация носит исключительно информационный (ознакомительный) характер и не является индивидуальной инвестиционной рекомендацией.
