Mais de 30 vulnerabilidades de segurança foram recentemente descobertas em modelos de inteligência artificial (IA) e aprendizado de máquina (ML) de código aberto. Algumas dessas falhas permitem desde a execução remota de código até o roubo de dados sensíveis. As vulnerabilidades, presentes em ferramentas como ChuanhuChatGPT, Lunary e LocalAI, foram relatadas pela Protect AI em sua plataforma de bug bounty, Huntr.
Entre os problemas mais críticos está uma falha grave no Lunary, uma plataforma de produção para grandes modelos de linguagem (LLMs). Esta vulnerabilidade, identificada como CVE-2024-7474, possui uma pontuação CVSS de 9,1. Trata-se de uma falha IDOR (Referência Direta de Objeto Insegura) que pode ser explorada para permitir que usuários autenticados visualizem ou excluam dados de terceiros, criando riscos significativos de acesso e modificação não autorizados.
Outra vulnerabilidade no Lunary é CVE-2024-7475 (CVSS: 9,1), associada a controles de acesso inadequados, permitindo a alteração na configuração de SAML. Esta falha possibilita que um invasor acesse informações sensíveis ao se passar por usuários legítimos. Em uma variação desse tipo de ataque, a falha CVE-2024-7473 (CVSS: 7,5) permite que um invasor, por meio da manipulação de parâmetros, modifique prompts de outros usuários, exacerbando os riscos de vazamento de informações.
No caso do ChuanhuChatGPT, foi identificada uma falha de path traversal, registrada como CVE-2024-5982 (CVSS: 9,1), que pode resultar na execução arbitrária de código. A exploração desta vulnerabilidade é especialmente preocupante, pois permite a criação de diretórios indesejados e acesso a dados privados.
Outro caso envolve o LocalAI, um projeto que facilita a execução de LLMs auto-hospedados. A vulnerabilidade CVE-2024-6983 (CVSS: 8,8) permite que invasores carreguem arquivos de configuração maliciosos para executar código arbitrário. Já a CVE-2024-7010 (CVSS: 7,5) habilita a inferência de chaves de API válidas por meio de um ataque de timing. Essa vulnerabilidade se destaca por ser uma exploração de side-channel que mede o tempo de resposta do servidor, permitindo ao invasor deduzir caracteres da chave API um a um.
Para completar, a biblioteca Deep Java Library (DJL) também foi alvo, apresentando uma vulnerabilidade de execução de código remoto (CVE-2024-8396, CVSS: 7,8) derivada de um bug de sobrescrita de arquivos na função untar. A NVIDIA também lançou atualizações para mitigar uma vulnerabilidade de path traversal em sua framework de IA generativa NeMo, identificada como CVE-2024-0129 (CVSS: 6,3), que permitia a execução de código e alteração de dados.
Essas divulgações coincidem com o lançamento do Vulnhuntr, uma ferramenta de análise estática de código Python da Protect AI. Projetada para detectar vulnerabilidades de zero day em códigos Python, o Vulnhuntr utiliza LLMs para segmentar o código em partes gerenciáveis e detectar riscos sem exceder a capacidade de análise do modelo.
Além disso, uma técnica de jailbreak recentemente desenvolvida pela 0Day Investigative Network (0Din) da Mozilla revelou como comandos maliciosos em hexadecimal e emojis podem contornar salvaguardas em modelos como o ChatGPT, da OpenAI. Essa vulnerabilidade, segundo Marco Figueroa, explora a incapacidade do modelo de interpretar contextos nocivos em instruções aparentemente inócuas, como conversões hexadecimais, permitindo que comandos perigosos sejam inadvertidamente processados.
Quer amadurecer seu programa de segurança cibernética? Conheça a EcoTrust, uma plataforma CAASM (Cyber Asset Attack Surface Management) que transforma riscos cibernéticos em respostas confiáveis. Agende uma demo aqui
Este artigo foi criado com uso de inteligência artificial generativa e teve a curadoria da Equipe EcoTrust.
