Infecter l'IA générative avec des virus

Infecting Generative AI With Viruses

January 9, 2025

Auteurs: David Noever, Forrest McKee

cs.AI

Résumé

Cette étude présente une approche novatrice pour tester les limites de sécurité des Modèles de Langage à Grande Échelle Vision (VLM/LLM) en utilisant le fichier de test EICAR intégré dans des images JPEG. Nous avons exécuté avec succès quatre protocoles distincts sur plusieurs plateformes LLM, notamment OpenAI GPT-4o, Microsoft Copilot, Google Gemini 1.5 Pro et Anthropic Claude 3.5 Sonnet. Les expériences ont validé qu'un JPEG modifié contenant la signature EICAR pouvait être téléchargé, manipulé et potentiellement exécuté dans les espaces de travail virtuels LLM. Les principales conclusions incluent : 1) la capacité constante de masquer la chaîne EICAR dans les métadonnées de l'image sans détection, 2) l'extraction réussie du fichier de test en utilisant une manipulation basée sur Python dans les environnements LLM, et 3) la démonstration de multiples techniques d'obfuscation incluant le codage en base64 et l'inversion de chaîne. Cette recherche étend le cadre "Règles d'Engagement des Tests de Pénétration" de Microsoft Research pour évaluer les limites de sécurité des IA génératives basées sur le cloud et des LLM, en se concentrant particulièrement sur la manipulation de fichiers et les capacités d'exécution dans des environnements conteneurisés.

English

This study demonstrates a novel approach to testing the security boundaries of Vision-Large Language Model (VLM/ LLM) using the EICAR test file embedded within JPEG images. We successfully executed four distinct protocols across multiple LLM platforms, including OpenAI GPT-4o, Microsoft Copilot, Google Gemini 1.5 Pro, and Anthropic Claude 3.5 Sonnet. The experiments validated that a modified JPEG containing the EICAR signature could be uploaded, manipulated, and potentially executed within LLM virtual workspaces. Key findings include: 1) consistent ability to mask the EICAR string in image metadata without detection, 2) successful extraction of the test file using Python-based manipulation within LLM environments, and 3) demonstration of multiple obfuscation techniques including base64 encoding and string reversal. This research extends Microsoft Research's "Penetration Testing Rules of Engagement" framework to evaluate cloud-based generative AI and LLM security boundaries, particularly focusing on file handling and execution capabilities within containerized environments.