На прошлой неделе OpenAI представила приложение Sora для iOS, основанное на обновлённой, второй версии модели генерации видео.
Главная особенность Sora — возможность загружать фотографии себя или других людей, чтобы создавать видео с их реалистичными изображениями. Однако пользователи обязаны получать согласие всех, кто будет показан в ролике.
Однако, как пишет Axios, созданные видео легко скачать и распространять за пределами платформы OpenAI, а водяной знак, указывающий на использование ИИ, можно удалить.
По словам Рэйчел Тобак, генерального директора компании SocialProof Security, это открывает широкие возможности для мошенников — от обмана доверчивых пользователей с целью получить деньги до распространения вредоносных ссылок или манипулирования инвестиционными решениями.
«Мы должны донести до людей, что теперь живём в мире, где видео и аудио, созданные ИИ, выглядят достоверно», — отметила Тобак в комментарии Axios.
Она привела несколько примеров возможных злоупотреблений Sora:
- родитель может получить поддельное видео, где будто бы фигурирует его ребёнок, в рамках вымогательства;
- злоумышленники могут снимать фальшивые ролики о длинных очередях или раннем закрытии избирательных участков, чтобы отпугнуть избирателей;
- государственные акторы могут создать реалистичное, но полностью поддельное видео о нападении на крупный город США, чтобы вызвать панику и беспорядки.
Как пишет издание со ссылкой на Федеральную торговую комиссию США, в 2024 году американцы потеряли $2,95 млрд в результате мошенничества, когда злоумышленники выдавали себя за знакомых людей или известные организации.
Однако в то же время Бен Ниммо, главный аналитик отдела разведки и расследований OpenAI, заявил, что пользователи ChatGPT используют систему в три раза чаще для выявления потенциальных мошеннических схем, чем злоумышленники — для их создания.
