Одна из популярных тем недавних исследований, связанных со все большей доступностью мощных больших языковых моделей (LLM), — capability uplift (рост возможностей).
Это процесс, при котором человек с ограниченным опытом или ресурсами в какой-либо сфере благодаря LLM становится способен выполнять те или иные действия на гораздо более высоком уровне. Особенно это важно в сфере кибербезопасности, где возможность дешевле, быстрее и масштабнее проводить кибератаки может стать головной болью для тех, кто кибербезопасность обеспечивает.
Среди прочего злоумышленники используют LLM, чтобы генерировать контент для мошеннических веб-сайтов. Такие сайты могут имитировать ресурсы известных организаций, от соцсетей до банков, чтобы склонить пользователя ввести учетные данные (классический фишинг), а могут изображать магазины известных брендов с невероятными скидками на товары (доставки которых пользователь, конечно же, не дождется).
Это, в частности, затрудняет детектирование с помощью правил, основанных на использовании конкретных фраз. Для обнаружения сгенерированных с помощью LLM страниц нужны системы, анализирующие метаданные или структуру страницы, либо нечеткие подходы, например, на базе машинного обучения.
Но LLM не всегда работают идеально, а потому при большом масштабе автоматизации или слишком низком уровне контроля они могут оставлять артефакты, свидетельствующие о неумелом применении модели. Эти специфические фразы, которые с недавних пор начали появляться везде, от до , а также оставляемые LLM-сервисами пометки позволяют на данном этапе развития технологии отслеживать применение злоумышленниками больших языковых моделей для автоматизации мошенничества.
Как видно, большая языковая модель отказывается от того, чтобы выполнять одну из базовых задач, для которой LLM применяются, — писать статьи:
Приведенный образец расположен на хостинговой платформе gitbook[.]io. Кроме извинений языковой модели, здесь можно обратить внимание на использование диакритического знака в слове Login и буквы m с хвостиком (ɱ) в заголовке для обхода детектирования на основе правил.
На еще одной странице, нацеленной на пользователей кошелька Metamask и расположенной на платформе Webflow[.]io, мы видим ответ языковой модели:
Этот ответ интересен тем, что подразумевает, что он не был первым в диалоге с языковой моделью. Это означает или более низкий уровень автоматизации (злоумышленник попросил написать статью, увидел, что она короткая, и в той же сессии попросил написать то же самое, но длиннее), или, напротив, наличие в автоматизированном пайплайне проверок на длину (то есть недостаточно длинные ответы — частая проблема). Второе более вероятно, потому что при ручном копировании и форматировании кусок извинения вряд ли попал бы внутрь отформатированного тега.
Артефакты могут появляться не только в тексте на странице. В одном из примеров, имитирующих криптообменник STON[.]fi, извинения LLM обнаружились в метатегах страницы:
Наконец, LLM может использоваться для генерации не только текстовых блоков, но и целых веб-страниц. На странице выше, имитирующей сайт Polygon (и расположенной на lookalike-поддомене со словом bolygon в составе на хостинге github[.]io), видно сообщение, что модель вышла за лимиты длины текста, который она может генерировать:
Помимо прочего, в служебных тегах страницы есть ссылки на онлайн-сервис генерации сайтов на базе LLM, позволяющий создавать страницы по текстовому описанию.
Еще в одном примере — на кликбейт-странице, перенаправляющей на страницы с сомнительными взрослыми знакомствами — мы видим извинение модели, которая отказывается писать тексты про утечки данных:
В первом случае модель отказывается работать в роли поисковой системы:
Во втором мы видим небольшую вариацию на тему: модель утверждает, что не умеет сама выполнять логин на сайты:
На странице, расположенной на хостинге weblof[.]io, мы видим, как модель, хотя и не может дать конкретное руководство по входу в аккаунт на биржу BitMart, предоставляет более общее:
На другой странице, на этот раз на gitbook[.]us, LLM отказывается давать подробные инструкции по входу в аккаунт на бирже Gemini:
Еще одна страница, также на gitbook[.]us, нацелена на пользователей криптокошелька Exodus:
Так, на поддельном сайте Rocket Pool обнаружена следующая фраза:
На еще одном мошенническом сайте, нацеленном на пользователей Coinbase, можно увидеть текст, написанный более современной моделью:
А вот на мошеннической странице из той же кампании, но нацеленной уже на пользователей кошелька MetaMask, для генерации текста использована еще более свежая модель:
Артефакты такого рода позволяют не только обнаружить факт применения LLM для создания мошеннических веб-страниц, но и оценить как длительность кампании, так и примерное время создания контента.
Например, один из сайтов расположен на домене gitbook[.]us и явно относится к кампании, в рамках которой мы видели более явные признаки использования LLM. На странице сайта мы видим как фразу:
так и классическое let’s delve в описании процесса использования физического кошелька Ledger. На еще одной странице, посвященной Ledger (на этот раз на webflow[.]io), можно найти delve по соседству c ever-evolving world:
На еще одной странице с gitbook[.]us, на этот раз нацеленной на пользователей Bitbuy, мы видим отсылку к ever-evolving world of cryptocurrency и целое эссе о «плавании в криптовалютных морях» — такого рода метафоры являются пусть и плохо формализуемым, но все же признаком применения LLM.
Как уже говорилось, сгенерированный LLM текст может соседствовать с разными приемами, затрудняющими детектирование на основе правил. Например, на странице с gitbook[.]us статья о бирже Coinbase, содержащая фразу let’s delve, использует в заголовке математические спецсимволы из Unicode: Coinbase@% Wallet.
При этом из-за проблем со шрифтами браузер испытывает проблемы с отображением символов Unicode, поэтому на скриншоте они выглядят так:
Kucoin в рамках все той же кампании удостоился еще одной вариации страницы на gitbook[.]us. На этот раз мы видим обфускацию в заголовке: Kucoin® Loᘜin*, а также чуть менее характерное, но тоже говорящее let’s explore вместе с привычным delve:
Наконец, взглянем на страницу, относящуюся к той же кампании и расположенную на хостинге webflow[.]io. Она нацелена на пользователей, интересующихся iTrustCapital, и предлагает окунуться в постоянно меняющийся рынок драгоценных металлов (the ever-changing emcious metals market). В этом примере также видна обфускация слова Login.
Задача автоматического определения текстов, сгенерированных большими языковыми моделями, решается очень сложно, особенно если речь идет о типовых текстах вроде маркетинговых материалов, похожих на то, что мы видели в примерах. Чтобы предотвратить нежелательные переходы на вредоносные веб-сайты, стоит использовать , сочетающие анализ текстовой информации, метаданных и других признаков для защиты от мошенничества.
Это процесс, при котором человек с ограниченным опытом или ресурсами в какой-либо сфере благодаря LLM становится способен выполнять те или иные действия на гораздо более высоком уровне. Особенно это важно в сфере кибербезопасности, где возможность дешевле, быстрее и масштабнее проводить кибератаки может стать головной болью для тех, кто кибербезопасность обеспечивает.
Среди прочего злоумышленники используют LLM, чтобы генерировать контент для мошеннических веб-сайтов. Такие сайты могут имитировать ресурсы известных организаций, от соцсетей до банков, чтобы склонить пользователя ввести учетные данные (классический фишинг), а могут изображать магазины известных брендов с невероятными скидками на товары (доставки которых пользователь, конечно же, не дождется).
Это, в частности, затрудняет детектирование с помощью правил, основанных на использовании конкретных фраз. Для обнаружения сгенерированных с помощью LLM страниц нужны системы, анализирующие метаданные или структуру страницы, либо нечеткие подходы, например, на базе машинного обучения.
Но LLM не всегда работают идеально, а потому при большом масштабе автоматизации или слишком низком уровне контроля они могут оставлять артефакты, свидетельствующие о неумелом применении модели. Эти специфические фразы, которые с недавних пор начали появляться везде, от до , а также оставляемые LLM-сервисами пометки позволяют на данном этапе развития технологии отслеживать применение злоумышленниками больших языковых моделей для автоматизации мошенничества.
Я в этом не участвую
Один из самых ярких признаков применения большой языковой модели для создания текста — наличие в тексте извинений модели от первого лица и отказов выполнять инструкции. Например, в крупной , нацеленной на пользователей различных криптовалютных сервисов, есть страницы, на которых модель явно представляется, как на скриншоте ниже, где текст имитирует инструкцию по использованию популярной трейдинговой платформы Crypto[.]com:Как видно, большая языковая модель отказывается от того, чтобы выполнять одну из базовых задач, для которой LLM применяются, — писать статьи:
Приведенный образец расположен на хостинговой платформе gitbook[.]io. Кроме извинений языковой модели, здесь можно обратить внимание на использование диакритического знака в слове Login и буквы m с хвостиком (ɱ) в заголовке для обхода детектирования на основе правил.
На еще одной странице, нацеленной на пользователей кошелька Metamask и расположенной на платформе Webflow[.]io, мы видим ответ языковой модели:
Этот ответ интересен тем, что подразумевает, что он не был первым в диалоге с языковой моделью. Это означает или более низкий уровень автоматизации (злоумышленник попросил написать статью, увидел, что она короткая, и в той же сессии попросил написать то же самое, но длиннее), или, напротив, наличие в автоматизированном пайплайне проверок на длину (то есть недостаточно длинные ответы — частая проблема). Второе более вероятно, потому что при ручном копировании и форматировании кусок извинения вряд ли попал бы внутрь отформатированного тега.
Артефакты могут появляться не только в тексте на странице. В одном из примеров, имитирующих криптообменник STON[.]fi, извинения LLM обнаружились в метатегах страницы:
Наконец, LLM может использоваться для генерации не только текстовых блоков, но и целых веб-страниц. На странице выше, имитирующей сайт Polygon (и расположенной на lookalike-поддомене со словом bolygon в составе на хостинге github[.]io), видно сообщение, что модель вышла за лимиты длины текста, который она может генерировать:
Помимо прочего, в служебных тегах страницы есть ссылки на онлайн-сервис генерации сайтов на базе LLM, позволяющий создавать страницы по текстовому описанию.
Еще в одном примере — на кликбейт-странице, перенаправляющей на страницы с сомнительными взрослыми знакомствами — мы видим извинение модели, которая отказывается писать тексты про утечки данных:
Это классика
Ставшая фраза As an AI language model… и ее вариации — нередкие гости на мошеннических страницах и вне контекста извинений. Так, на двух страницах с атакой на пользователей криптобиржи Kucoin, обе из которых расположены на домене gitbook[.]us, мы видим именно их.В первом случае модель отказывается работать в роли поисковой системы:
Во втором мы видим небольшую вариацию на тему: модель утверждает, что не умеет сама выполнять логин на сайты:
Стадия торга
Другим характерным и тоже достаточно однозначным признаком использования языковой модели является наличие уступительных придаточных: «Хотя я не могу сделать то, что вы хотите, я могу попробовать сделать что-то похожее».На странице, расположенной на хостинге weblof[.]io, мы видим, как модель, хотя и не может дать конкретное руководство по входу в аккаунт на биржу BitMart, предоставляет более общее:
На другой странице, на этот раз на gitbook[.]us, LLM отказывается давать подробные инструкции по входу в аккаунт на бирже Gemini:
Еще одна страница, также на gitbook[.]us, нацелена на пользователей криптокошелька Exodus:
Прогресс не остановить
Еще одним важным признаком текста, сгенерированного LLM, является сообщение о том, какой датой заканчиваются знания модели о мире. Для обучения больших языковых моделей разработчики собирают большие датасеты с данными со всего интернета, но информация о событиях, которые происходят после начала обучения, в модель не попадает. Модель часто сигнализирует об этом фразами вроде «согласно моему последнему обновлению в январе 2023 года» или «мои знания ограничены мартом 2024 года».Так, на поддельном сайте Rocket Pool обнаружена следующая фраза:
На еще одном мошенническом сайте, нацеленном на пользователей Coinbase, можно увидеть текст, написанный более современной моделью:
А вот на мошеннической странице из той же кампании, но нацеленной уже на пользователей кошелька MetaMask, для генерации текста использована еще более свежая модель:
Артефакты такого рода позволяют не только обнаружить факт применения LLM для создания мошеннических веб-страниц, но и оценить как длительность кампании, так и примерное время создания контента.
Не стоит погружаться в переменчивый мир
Наконец, у моделей от OpenAI есть определенные предпочтения по словам. Так, известно, что слово delve (погружаться во что-то) используется ими , что некоторые люди считают его прямым признаком использования LLM для написания текста. Другой маркер — использование фраз типа in the ever-evolving/ever-changing world/landscape (в изменчивом/развивающемся мире/ландшафте), особенно при запросах на написание статей или эссе. Здесь важно отметить, что одно наличие этих слов не может стопроцентно свидетельствовать о том, что текст был сгенерирован, но внимание на них обращать все же стоит.Например, один из сайтов расположен на домене gitbook[.]us и явно относится к кампании, в рамках которой мы видели более явные признаки использования LLM. На странице сайта мы видим как фразу:
так и классическое let’s delve в описании процесса использования физического кошелька Ledger. На еще одной странице, посвященной Ledger (на этот раз на webflow[.]io), можно найти delve по соседству c ever-evolving world:
На еще одной странице с gitbook[.]us, на этот раз нацеленной на пользователей Bitbuy, мы видим отсылку к ever-evolving world of cryptocurrency и целое эссе о «плавании в криптовалютных морях» — такого рода метафоры являются пусть и плохо формализуемым, но все же признаком применения LLM.
Как уже говорилось, сгенерированный LLM текст может соседствовать с разными приемами, затрудняющими детектирование на основе правил. Например, на странице с gitbook[.]us статья о бирже Coinbase, содержащая фразу let’s delve, использует в заголовке математические спецсимволы из Unicode: Coinbase@% Wallet.
При этом из-за проблем со шрифтами браузер испытывает проблемы с отображением символов Unicode, поэтому на скриншоте они выглядят так:
Kucoin в рамках все той же кампании удостоился еще одной вариации страницы на gitbook[.]us. На этот раз мы видим обфускацию в заголовке: Kucoin® Loᘜin*, а также чуть менее характерное, но тоже говорящее let’s explore вместе с привычным delve:
Наконец, взглянем на страницу, относящуюся к той же кампании и расположенную на хостинге webflow[.]io. Она нацелена на пользователей, интересующихся iTrustCapital, и предлагает окунуться в постоянно меняющийся рынок драгоценных металлов (the ever-changing emcious metals market). В этом примере также видна обфускация слова Login.
Заключение
Большие языковые модели совершенствуются, и вместе с этим растет понимание их сильных и слабых сторон, а также задач, с которыми они могут хорошо или плохо справляться. Злоумышленники применение этой технологии в разных сценариях автоматизации, но, как видно, иногда допускают ошибки, которые помогают пролить свет на то, как они используют LLM, по меньшей мере, в сфере интернет-мошенничества.Задача автоматического определения текстов, сгенерированных большими языковыми моделями, решается очень сложно, особенно если речь идет о типовых текстах вроде маркетинговых материалов, похожих на то, что мы видели в примерах. Чтобы предотвратить нежелательные переходы на вредоносные веб-сайты, стоит использовать , сочетающие анализ текстовой информации, метаданных и других признаков для защиты от мошенничества.
