Llama-3.1-FoundationAI-SecurityLLM-8B-Instruct Technischer Bericht

Llama-3.1-FoundationAI-SecurityLLM-8B-Instruct Technical Report

August 1, 2025

papers.authors: Sajana Weerawardhena, Paul Kassianik, Blaine Nelson, Baturay Saglam, Anu Vellore, Aman Priyanshu, Supriti Vijay, Massimo Aufiero, Arthur Goldblatt, Fraser Burch, Ed Li, Jianliang He, Dhruv Kedia, Kojin Oshiba, Zhouran Yang, Yaron Singer, Amin Karbasi

cs.AI

papers.abstract

Große Sprachmodelle (LLMs) haben in vielen Bereichen bemerkenswerte Erfolge gezeigt, doch ihre Integration in Cybersicherheitsanwendungen bleibt aufgrund des Mangels an allgemeinen Cybersicherheitsdaten, der repräsentativen Komplexität sowie Sicherheits- und regulatorischen Bedenken begrenzt. Um diese Lücke zu schließen, haben wir zuvor Foundation-Sec-8B eingeführt, ein auf Cybersicherheit spezialisiertes LLM, das für das Feinabstimmen auf nachgelagerte Aufgaben geeignet ist. Dieses Modell war jedoch nicht für Chat-artige Interaktionen oder das Befolgen von Anweisungen konzipiert. In diesem Bericht stellen wir Foundation-Sec-8B-Instruct vor: ein Modell, das speziell für allgemeine Cybersicherheitsdialoge trainiert wurde. Basierend auf Foundation-Sec-8B kombiniert es domänenspezifisches Wissen mit der Fähigkeit, Anweisungen zu befolgen, Konversationsfähigkeiten und der Ausrichtung an menschlichen Präferenzen, um hochwertige, relevante Antworten zu generieren. Umfassende Evaluierungen zeigen, dass Foundation-Sec-8B-Instruct Llama 3.1-8B-Instruct bei einer Reihe von Cybersicherheitsaufgaben übertrifft, während es dessen Leistung beim Befolgen von Anweisungen erreicht. Es ist auch mit GPT-4o-mini bei Aufgaben der Cyber-Bedrohungsintelligenz und dem Befolgen von Anweisungen konkurrenzfähig. Wir sehen Foundation-Sec-8B-Instruct als unverzichtbaren Assistenten in den täglichen Arbeitsabläufen von Cybersicherheitsfachleuten. Das Modell wird öffentlich unter https://huggingface.co/fdtn-ai/Foundation-Sec-8B-Instruct veröffentlicht.

English

Large language models (LLMs) have shown remarkable success across many domains, yet their integration into cybersecurity applications remains limited due to a lack of general-purpose cybersecurity data, representational complexity, and safety and regulatory concerns. To address this gap, we previously introduced Foundation-Sec-8B, a cybersecurity-focused LLM suitable for fine-tuning on downstream tasks. That model, however, was not designed for chat-style interactions or instruction-following. In this report, we release Foundation-Sec-8B-Instruct: a model specifically trained for general-purpose cybersecurity dialogue. Built on Foundation-Sec-8B, it combines domain-specific knowledge with instruction-following, conversational capabilities, and alignment with human preferences to produce high-quality, relevant responses. Comprehensive evaluations show that Foundation-Sec-8B-Instruct outperforms Llama 3.1-8B-Instruct on a range of cybersecurity tasks while matching its instruction-following performance. It is also competitive with GPT-4o-mini on cyber threat intelligence and instruction-following tasks. We envision Foundation-Sec-8B-Instruct becoming an indispensable assistant in the daily workflows of cybersecurity professionals. We release the model publicly at https://huggingface.co/fdtn-ai/Foundation-Sec-8B-Instruct.