Rapport Technique du Modèle Llama-3.1-FoundationAI-SecurityLLM-8B-Instruct

Llama-3.1-FoundationAI-SecurityLLM-8B-Instruct Technical Report

August 1, 2025

papers.authors: Sajana Weerawardhena, Paul Kassianik, Blaine Nelson, Baturay Saglam, Anu Vellore, Aman Priyanshu, Supriti Vijay, Massimo Aufiero, Arthur Goldblatt, Fraser Burch, Ed Li, Jianliang He, Dhruv Kedia, Kojin Oshiba, Zhouran Yang, Yaron Singer, Amin Karbasi

cs.AI

papers.abstract

Les grands modèles de langage (LLMs) ont démontré un succès remarquable dans de nombreux domaines, mais leur intégration dans les applications de cybersécurité reste limitée en raison d'un manque de données de cybersécurité polyvalentes, de la complexité représentationnelle, ainsi que des préoccupations liées à la sécurité et à la réglementation. Pour combler cette lacune, nous avons précédemment introduit Foundation-Sec-8B, un LLM axé sur la cybersécurité adapté au fine-tuning pour des tâches en aval. Cependant, ce modèle n'était pas conçu pour des interactions de type chat ou pour suivre des instructions. Dans ce rapport, nous présentons Foundation-Sec-8B-Instruct : un modèle spécifiquement entraîné pour des dialogues polyvalents en cybersécurité. Basé sur Foundation-Sec-8B, il combine des connaissances spécifiques au domaine avec des capacités de suivi d'instructions, de conversation et d'alignement sur les préférences humaines pour produire des réponses pertinentes et de haute qualité. Des évaluations approfondies montrent que Foundation-Sec-8B-Instruct surpasse Llama 3.1-8B-Instruct sur une gamme de tâches de cybersécurité tout en égalant ses performances en matière de suivi d'instructions. Il est également compétitif avec GPT-4o-mini sur les tâches de renseignement sur les cybermenaces et de suivi d'instructions. Nous envisageons que Foundation-Sec-8B-Instruct devienne un assistant indispensable dans les flux de travail quotidiens des professionnels de la cybersécurité. Nous rendons le modèle public à l'adresse suivante : https://huggingface.co/fdtn-ai/Foundation-Sec-8B-Instruct.

English

Large language models (LLMs) have shown remarkable success across many domains, yet their integration into cybersecurity applications remains limited due to a lack of general-purpose cybersecurity data, representational complexity, and safety and regulatory concerns. To address this gap, we previously introduced Foundation-Sec-8B, a cybersecurity-focused LLM suitable for fine-tuning on downstream tasks. That model, however, was not designed for chat-style interactions or instruction-following. In this report, we release Foundation-Sec-8B-Instruct: a model specifically trained for general-purpose cybersecurity dialogue. Built on Foundation-Sec-8B, it combines domain-specific knowledge with instruction-following, conversational capabilities, and alignment with human preferences to produce high-quality, relevant responses. Comprehensive evaluations show that Foundation-Sec-8B-Instruct outperforms Llama 3.1-8B-Instruct on a range of cybersecurity tasks while matching its instruction-following performance. It is also competitive with GPT-4o-mini on cyber threat intelligence and instruction-following tasks. We envision Foundation-Sec-8B-Instruct becoming an indispensable assistant in the daily workflows of cybersecurity professionals. We release the model publicly at https://huggingface.co/fdtn-ai/Foundation-Sec-8B-Instruct.