Het infecteren van Generatieve AI met Virussen

Infecting Generative AI With Viruses

January 9, 2025

Auteurs: David Noever, Forrest McKee

cs.AI

Samenvatting

Deze studie toont een nieuwe benadering voor het testen van de beveiligingsgrenzen van Vision-Large Language Model (VLM/LLM) met behulp van het EICAR-testbestand dat is ingebed in JPEG-afbeeldingen. We hebben succesvol vier verschillende protocollen uitgevoerd op meerdere LLM-platforms, waaronder OpenAI GPT-4o, Microsoft Copilot, Google Gemini 1.5 Pro, en Anthropic Claude 3.5 Sonnet. De experimenten bevestigden dat een aangepaste JPEG met de EICAR-handtekening kon worden geüpload, gemanipuleerd en mogelijk uitgevoerd binnen LLM virtuele werkruimtes. Belangrijke bevindingen omvatten: 1) consistente mogelijkheid om de EICAR-string in de metagegevens van de afbeelding te verbergen zonder detectie, 2) succesvolle extractie van het testbestand met behulp van op Python gebaseerde manipulatie binnen LLM-omgevingen, en 3) demonstratie van meerdere verhullingstechnieken, waaronder base64-codering en stringomkering. Dit onderzoek breidt het "Penetration Testing Rules of Engagement"-raamwerk van Microsoft Research uit om de beveiligingsgrenzen van op de cloud gebaseerde generatieve AI en LLM te evalueren, met name gericht op bestandshandling en uitvoeringsmogelijkheden binnen gecontaineriseerde omgevingen.

English

This study demonstrates a novel approach to testing the security boundaries of Vision-Large Language Model (VLM/ LLM) using the EICAR test file embedded within JPEG images. We successfully executed four distinct protocols across multiple LLM platforms, including OpenAI GPT-4o, Microsoft Copilot, Google Gemini 1.5 Pro, and Anthropic Claude 3.5 Sonnet. The experiments validated that a modified JPEG containing the EICAR signature could be uploaded, manipulated, and potentially executed within LLM virtual workspaces. Key findings include: 1) consistent ability to mask the EICAR string in image metadata without detection, 2) successful extraction of the test file using Python-based manipulation within LLM environments, and 3) demonstration of multiple obfuscation techniques including base64 encoding and string reversal. This research extends Microsoft Research's "Penetration Testing Rules of Engagement" framework to evaluate cloud-based generative AI and LLM security boundaries, particularly focusing on file handling and execution capabilities within containerized environments.