Rapporto Tecnico di Llama-3.1-FoundationAI-SecurityLLM-8B-Instruct

Llama-3.1-FoundationAI-SecurityLLM-8B-Instruct Technical Report

August 1, 2025

Autori: Sajana Weerawardhena, Paul Kassianik, Blaine Nelson, Baturay Saglam, Anu Vellore, Aman Priyanshu, Supriti Vijay, Massimo Aufiero, Arthur Goldblatt, Fraser Burch, Ed Li, Jianliang He, Dhruv Kedia, Kojin Oshiba, Zhouran Yang, Yaron Singer, Amin Karbasi

cs.AI

Abstract

I modelli linguistici di grandi dimensioni (LLM) hanno dimostrato un notevole successo in molti ambiti, ma la loro integrazione nelle applicazioni di cybersecurity rimane limitata a causa della mancanza di dati di cybersecurity generici, della complessità rappresentazionale e delle preoccupazioni relative alla sicurezza e alla regolamentazione. Per colmare questa lacuna, abbiamo precedentemente introdotto Foundation-Sec-8B, un LLM focalizzato sulla cybersecurity adatto per il fine-tuning su task downstream. Tuttavia, quel modello non era progettato per interazioni in stile chat o per il seguimento di istruzioni. In questo report, rilasciamo Foundation-Sec-8B-Instruct: un modello specificamente addestrato per dialoghi generici di cybersecurity. Basato su Foundation-Sec-8B, combina conoscenze specifiche del dominio con capacità di seguimento delle istruzioni, abilità conversazionali e allineamento con le preferenze umane per produrre risposte di alta qualità e pertinenti. Valutazioni complete dimostrano che Foundation-Sec-8B-Instruct supera Llama 3.1-8B-Instruct in una gamma di task di cybersecurity, eguagliando le sue prestazioni nel seguimento delle istruzioni. È anche competitivo con GPT-4o-mini nelle attività di intelligence sulle minacce informatiche e nel seguimento delle istruzioni. Prevediamo che Foundation-Sec-8B-Instruct diventi un assistente indispensabile nei flussi di lavoro quotidiani dei professionisti della cybersecurity. Rilasciamo il modello pubblicamente all'indirizzo https://huggingface.co/fdtn-ai/Foundation-Sec-8B-Instruct.

English

Large language models (LLMs) have shown remarkable success across many domains, yet their integration into cybersecurity applications remains limited due to a lack of general-purpose cybersecurity data, representational complexity, and safety and regulatory concerns. To address this gap, we previously introduced Foundation-Sec-8B, a cybersecurity-focused LLM suitable for fine-tuning on downstream tasks. That model, however, was not designed for chat-style interactions or instruction-following. In this report, we release Foundation-Sec-8B-Instruct: a model specifically trained for general-purpose cybersecurity dialogue. Built on Foundation-Sec-8B, it combines domain-specific knowledge with instruction-following, conversational capabilities, and alignment with human preferences to produce high-quality, relevant responses. Comprehensive evaluations show that Foundation-Sec-8B-Instruct outperforms Llama 3.1-8B-Instruct on a range of cybersecurity tasks while matching its instruction-following performance. It is also competitive with GPT-4o-mini on cyber threat intelligence and instruction-following tasks. We envision Foundation-Sec-8B-Instruct becoming an indispensable assistant in the daily workflows of cybersecurity professionals. We release the model publicly at https://huggingface.co/fdtn-ai/Foundation-Sec-8B-Instruct.