Нехитрый прием позволяет использовать нейросеть Google для фишинговых атак

Google Gemini for Workspace используется для фишинговых атак через скрытие вредоносных инструкций в HTML и CSS, что делает их невидимыми для пользователей, но распознаваемыми ИИ. Такие атаки, начинающиеся с 2024 г., называются «косвенная инъекция промпта» и остаются эффективными, несмотря на попытки ИИ-вендоров их предотвратить.


Отвлекаем внимание и...

Несложный фокус со скрытыми инструкциями позволяет, по крайней мере, теоретически использовать Google Gemini for Workspace в фишинговых атаках.

Как пояснил Марко Фигероа (Marco Figueroa), менеджер программ по поиску уязвимостей в генеративных ИИ в Mozilla, Gemini для Workspace может быть использован злоумышленниками для создания резюме писем, которые выглядят совершенно невинно, но содержат скрытые вредоносные инструкции или предупреждения, в результате чего пользователей перебрасывает на фишинговые сайты. При этом ни вложений, ни прямых ссылок в такой атаке не фигурирует. Прием получил название «косвенная инъекция промпта».

Аналогичные атаки выявляются с 2024 г., и ИИ-вендоры сейчас реализуют страховочные меры, которые должны помешать давать превратные ответы. Тем не менее, пока что методика остается действующей. По крайней мере, в отношении Gemini.

Процесс атаки включает создание письма с невидимой для пользователя директивой для Gemini. Злоумышленник может спрятать вредоносную инструкцию в теле письма, используя HTML и CSS для установки размера шрифта на ноль и изменения цвета текста на белый. Таким образом, человек ничего не увидит: скрытое сообщение не отобразится в интерфейсе Gmail. Плюс, поскольку в письме нет ни вложений, ни ссылок, вероятность автоматической отправки его в спам оказывается сравнительно низкой.



WDnet Studio / Stocksnap Слабое место в Google Gemini открывает возможность использовать рефераты писем для фишинга

Ну, а машина, формируя краткое резюме почтового сообщения, - прочитает и выполнит закамуфлированные таким образом инструкции без всяких проблем.

Фигероа, в частности, продемонстрировал, как Gemini выполняет скрытую команду, добавляя в резюме предупреждение о якобы скомпрометированном пароле от Gmail и прикладывая номер телефона для связи с «техподдержкой».

Ну, а поскольку пользователи демонстрируют противоестественную доверчивость к выдаче Gemini - равно как и других чатботов, - очень высока вероятность, что подсунутая фальшивка будет принята за чистую монету.

Доработать напильником

Фигероа, хотя сам является сотрудником Mozilla, представил информацию через открытую платформу 0din, баг-баунти программу Mozilla для генеративных инструментов ИИ.

Кроме того, он предложил сразу несколько методов противодействия подобным трюкам. Один сводится к удалению, нейтрализации или игнорированию замаскированных элементов контента, например, строк с нулевым размером шрифта или белым цветом. Другой подход - внедрение фильтра постобработки, который анализирует вывод Gemini на наличие срочных сообщений, URL-адресов или номеров телефонов, помечая такие сообщения для дальнейшей проверки.

И, как пишет издание Bleeping Computer, необходимо помнить, что сгенерированные Gemini резюме авторитетным источником считать не стоит, особенно, когда речь о вопросах безопасности.

В Google изданию заявили, что некоторые защитные меры уже находятся на этапе внедрения или готовятся к развертыванию, а также что к данному моменту компания не зафиксировала случаев эксплуатации Gemini подобным способом.

«Не зарегистрировала - еще не значит, что таких атак на Gemini не было», - замечает Анастасия Мельникова, директор по информационной безопасности компании SEQ. «Безусловно, само наличие такой возможности следует рассматривать как прямую и непосредственную угрозу. Лежащую, к тому же, на поверхности».

По мнению эксперта, побороть эту проблему сравнительно просто, но это, вероятно, потребует перенастройки и Gmail, и Gemini, так, чтобы они устраняли или игнорировали любой текст с подозрительным форматированием.

Адрес новости:
https://safe.cnews.ru/news/top/2025-07-14_nejroset_google_ispolzuyut