Rapport Technique de Llama-3.1-FoundationAI-SecurityLLM-Base-8B

Llama-3.1-FoundationAI-SecurityLLM-Base-8B Technical Report

April 28, 2025

Auteurs: Paul Kassianik, Baturay Saglam, Alexander Chen, Blaine Nelson, Anu Vellore, Massimo Aufiero, Fraser Burch, Dhruv Kedia, Avi Zohary, Sajana Weerawardhena, Aman Priyanshu, Adam Swanda, Amy Chang, Hyrum Anderson, Kojin Oshiba, Omar Santos, Yaron Singer, Amin Karbasi

cs.AI

Résumé

Alors que les grands modèles de langage (LLM) basés sur des architectures de type transformer s'intègrent de plus en plus dans la société, ils ont révolutionné des domaines tels que l'ingénierie logicielle, l'écriture créative et les arts numériques. Cependant, leur adoption dans le domaine de la cybersécurité reste limitée en raison de défis tels que la rareté des données d'entraînement spécialisées et la complexité de la représentation des connaissances spécifiques à la cybersécurité. Pour combler ces lacunes, nous présentons Foundation-Sec-8B, un LLM axé sur la cybersécurité, construit sur l'architecture Llama 3.1 et amélioré grâce à un pré-entraînement continu sur un corpus de cybersécurité soigneusement sélectionné. Nous évaluons Foundation-Sec-8B à la fois sur des benchmarks établis et nouveaux en cybersécurité, démontrant qu'il rivalise avec Llama 3.1-70B et GPT-4o-mini dans certaines tâches spécifiques à la cybersécurité. En rendant notre modèle accessible au public, nous visons à accélérer les progrès et l'adoption d'outils pilotés par l'IA dans les contextes de cybersécurité publics et privés.

English

As transformer-based large language models (LLMs) increasingly permeate society, they have revolutionized domains such as software engineering, creative writing, and digital arts. However, their adoption in cybersecurity remains limited due to challenges like scarcity of specialized training data and complexity of representing cybersecurity-specific knowledge. To address these gaps, we present Foundation-Sec-8B, a cybersecurity-focused LLM built on the Llama 3.1 architecture and enhanced through continued pretraining on a carefully curated cybersecurity corpus. We evaluate Foundation-Sec-8B across both established and new cybersecurity benchmarks, showing that it matches Llama 3.1-70B and GPT-4o-mini in certain cybersecurity-specific tasks. By releasing our model to the public, we aim to accelerate progress and adoption of AI-driven tools in both public and private cybersecurity contexts.