Сотни серверов с большими языковыми моделями с открытым кодом и десятки — с векторными базами данных, способны передавать в открытый интернет информацию с высокой степенью конфиденциальности.
Об этом гласят результаты исследования, проведённого специализирующейся на вопросах кибербезопасности компанией Legit.
В рамках эксперт Legit Нафтали Дойч (Naphtali Deutsch) провёл сканирование двух видов потенциально уязвимых служб с искусственным интеллектом: векторных баз данных, в которых хранится информация для инструментов ИИ, а также конструкторов приложений на основе больших языковых моделей, в частности, открытой программы Flowise.
Flowise — программа с открытым кодом, предназначенная для создания приложений всех видов, основанных на больших языковых моделях. Это могут быть чат-боты для поддержки клиентов или средства для генерации программного кода, и все они, как правило, имеют доступ к большим объёмам данных и управляют ими, поэтому большинство серверов Flowise защищается паролями.
Но пароль — недостаточно надёжный механизм защиты: ранее индийский исследователь обнаружил во Flowise 1.6.2 и более ранних версиях уязвимость, позволяющую обходить аутентификацию, просто набирая заглавные буквы в обращениях к программе через API. Уязвимость отслеживается под номером CVE-2024-31621 и имеет «высокий» рейтинг в 7,6 балла из 10.
Эксплуатируя уязвимость, эксперт Дойч взломал 438 серверов Flowise. Он получил доступ к токенам доступа API GitHub, ключам API OpenAI, паролям Flowise, прочим ключам API в открытом виде, данным конфигурации и запросам, связанным с приложениями Flowise, а также многим другим данным.
Токен API GitHub открывает доступ к закрытым репозиториям, пояснил исследователь; были также обнаружены ключи API и для других векторных баз данных, включая Pinecone — популярную SaaS-платформу. Потенциальный злоумышленник мог воспользоваться ими, чтобы войти в базу данных и выгрузить всю найденную информацию, в том числе конфиденциальную.
В других базах были данные об объектах недвижимости, документация, технические паспорта товаров и даже используемая медицинским чат-ботом информация о пациентах.
Утечка векторной базы данных опаснее, чем утечка данных от конструктора с большой языковой моделью, поскольку несанкционированный доступ к базе может остаться незамеченным для пользователя.
Потенциальный злоумышленник может не только похитить информацию из векторной базы данных, но также удалить или изменить информацию в ней и даже внедрить в неё вредоносное ПО, которое заразит большую языковую модель. Чтобы снизить подобные риски, Дойч рекомендует организациям ограничивать доступ к службам ИИ, отслеживать и регистрировать связанную с ними активность, принимать меры для защиты конфиденциальных данных, которые передаются большими языковыми моделями, а также по возможности обновлять связанное с этими средствами ПО.
Об этом гласят результаты исследования, проведённого специализирующейся на вопросах кибербезопасности компанией Legit.
В рамках эксперт Legit Нафтали Дойч (Naphtali Deutsch) провёл сканирование двух видов потенциально уязвимых служб с искусственным интеллектом: векторных баз данных, в которых хранится информация для инструментов ИИ, а также конструкторов приложений на основе больших языковых моделей, в частности, открытой программы Flowise.
Flowise — программа с открытым кодом, предназначенная для создания приложений всех видов, основанных на больших языковых моделях. Это могут быть чат-боты для поддержки клиентов или средства для генерации программного кода, и все они, как правило, имеют доступ к большим объёмам данных и управляют ими, поэтому большинство серверов Flowise защищается паролями.
Но пароль — недостаточно надёжный механизм защиты: ранее индийский исследователь обнаружил во Flowise 1.6.2 и более ранних версиях уязвимость, позволяющую обходить аутентификацию, просто набирая заглавные буквы в обращениях к программе через API. Уязвимость отслеживается под номером CVE-2024-31621 и имеет «высокий» рейтинг в 7,6 балла из 10.
Эксплуатируя уязвимость, эксперт Дойч взломал 438 серверов Flowise. Он получил доступ к токенам доступа API GitHub, ключам API OpenAI, паролям Flowise, прочим ключам API в открытом виде, данным конфигурации и запросам, связанным с приложениями Flowise, а также многим другим данным.
Токен API GitHub открывает доступ к закрытым репозиториям, пояснил исследователь; были также обнаружены ключи API и для других векторных баз данных, включая Pinecone — популярную SaaS-платформу. Потенциальный злоумышленник мог воспользоваться ими, чтобы войти в базу данных и выгрузить всю найденную информацию, в том числе конфиденциальную.
В других базах были данные об объектах недвижимости, документация, технические паспорта товаров и даже используемая медицинским чат-ботом информация о пациентах.
Утечка векторной базы данных опаснее, чем утечка данных от конструктора с большой языковой моделью, поскольку несанкционированный доступ к базе может остаться незамеченным для пользователя.
Потенциальный злоумышленник может не только похитить информацию из векторной базы данных, но также удалить или изменить информацию в ней и даже внедрить в неё вредоносное ПО, которое заразит большую языковую модель. Чтобы снизить подобные риски, Дойч рекомендует организациям ограничивать доступ к службам ИИ, отслеживать и регистрировать связанную с ними активность, принимать меры для защиты конфиденциальных данных, которые передаются большими языковыми моделями, а также по возможности обновлять связанное с этими средствами ПО.
