Llama-3.1-FoundationAI-SecurityLLM-8B-Instruct Technisch Rapport
Llama-3.1-FoundationAI-SecurityLLM-8B-Instruct Technical Report
August 1, 2025
Auteurs: Sajana Weerawardhena, Paul Kassianik, Blaine Nelson, Baturay Saglam, Anu Vellore, Aman Priyanshu, Supriti Vijay, Massimo Aufiero, Arthur Goldblatt, Fraser Burch, Ed Li, Jianliang He, Dhruv Kedia, Kojin Oshiba, Zhouran Yang, Yaron Singer, Amin Karbasi
cs.AI
Samenvatting
Grote taalmodellen (LLMs) hebben opmerkelijke successen geboekt in vele domeinen, maar hun integratie in cybersecuritytoepassingen blijft beperkt vanwege een gebrek aan algemene cybersecuritygegevens, representatieve complexiteit, en zorgen over veiligheid en regelgeving. Om deze kloof te overbruggen, hebben we eerder Foundation-Sec-8B geïntroduceerd, een op cybersecurity gericht LLM dat geschikt is voor fine-tuning op downstream taken. Dat model was echter niet ontworpen voor chat-achtige interacties of het volgen van instructies. In dit rapport presenteren we Foundation-Sec-8B-Instruct: een model dat specifiek is getraind voor algemene cybersecuritydialogen. Gebouwd op Foundation-Sec-8B, combineert het domeinspecifieke kennis met het volgen van instructies, conversatievaardigheden en afstemming op menselijke voorkeuren om hoogwaardige, relevante antwoorden te produceren. Uitgebreide evaluaties tonen aan dat Foundation-Sec-8B-Instruct Llama 3.1-8B-Instruct overtreft op een reeks cybersecuritytaken, terwijl het de prestaties op het gebied van instructievolgen evenaart. Het is ook concurrerend met GPT-4o-mini op taken gerelateerd aan cyberdreigingsinformatie en het volgen van instructies. Wij voorzien dat Foundation-Sec-8B-Instruct een onmisbare assistent zal worden in de dagelijkse workflows van cybersecurityprofessionals. We maken het model publiekelijk beschikbaar op https://huggingface.co/fdtn-ai/Foundation-Sec-8B-Instruct.
English
Large language models (LLMs) have shown remarkable success across many
domains, yet their integration into cybersecurity applications remains limited
due to a lack of general-purpose cybersecurity data, representational
complexity, and safety and regulatory concerns. To address this gap, we
previously introduced Foundation-Sec-8B, a cybersecurity-focused LLM suitable
for fine-tuning on downstream tasks. That model, however, was not designed for
chat-style interactions or instruction-following. In this report, we release
Foundation-Sec-8B-Instruct: a model specifically trained for general-purpose
cybersecurity dialogue. Built on Foundation-Sec-8B, it combines domain-specific
knowledge with instruction-following, conversational capabilities, and
alignment with human preferences to produce high-quality, relevant responses.
Comprehensive evaluations show that Foundation-Sec-8B-Instruct outperforms
Llama 3.1-8B-Instruct on a range of cybersecurity tasks while matching its
instruction-following performance. It is also competitive with GPT-4o-mini on
cyber threat intelligence and instruction-following tasks. We envision
Foundation-Sec-8B-Instruct becoming an indispensable assistant in the daily
workflows of cybersecurity professionals. We release the model publicly at
https://huggingface.co/fdtn-ai/Foundation-Sec-8B-Instruct.