Relatório Técnico do Llama-3.1-FoundationAI-SecurityLLM-8B-Instruct

Llama-3.1-FoundationAI-SecurityLLM-8B-Instruct Technical Report

August 1, 2025

Autores: Sajana Weerawardhena, Paul Kassianik, Blaine Nelson, Baturay Saglam, Anu Vellore, Aman Priyanshu, Supriti Vijay, Massimo Aufiero, Arthur Goldblatt, Fraser Burch, Ed Li, Jianliang He, Dhruv Kedia, Kojin Oshiba, Zhouran Yang, Yaron Singer, Amin Karbasi

cs.AI

Resumo

Os grandes modelos de linguagem (LLMs) têm demonstrado sucesso notável em muitos domínios, mas sua integração em aplicações de cibersegurança ainda é limitada devido à falta de dados de cibersegurança de propósito geral, complexidade representacional e preocupações de segurança e regulatórias. Para abordar essa lacuna, introduzimos anteriormente o Foundation-Sec-8B, um LLM focado em cibersegurança adequado para ajuste fino em tarefas subsequentes. Esse modelo, no entanto, não foi projetado para interações no estilo de chat ou para seguir instruções. Neste relatório, lançamos o Foundation-Sec-8B-Instruct: um modelo especificamente treinado para diálogo de cibersegurança de propósito geral. Construído sobre o Foundation-Sec-8B, ele combina conhecimento específico do domínio com a capacidade de seguir instruções, habilidades conversacionais e alinhamento com preferências humanas para produzir respostas de alta qualidade e relevantes. Avaliações abrangentes mostram que o Foundation-Sec-8B-Instruct supera o Llama 3.1-8B-Instruct em uma variedade de tarefas de cibersegurança, enquanto iguala seu desempenho em seguir instruções. Ele também é competitivo com o GPT-4o-mini em tarefas de inteligência de ameaças cibernéticas e de seguir instruções. Envisionamos que o Foundation-Sec-8B-Instruct se torne um assistente indispensável nos fluxos de trabalho diários dos profissionais de cibersegurança. Lançamos o modelo publicamente em https://huggingface.co/fdtn-ai/Foundation-Sec-8B-Instruct.

English

Large language models (LLMs) have shown remarkable success across many domains, yet their integration into cybersecurity applications remains limited due to a lack of general-purpose cybersecurity data, representational complexity, and safety and regulatory concerns. To address this gap, we previously introduced Foundation-Sec-8B, a cybersecurity-focused LLM suitable for fine-tuning on downstream tasks. That model, however, was not designed for chat-style interactions or instruction-following. In this report, we release Foundation-Sec-8B-Instruct: a model specifically trained for general-purpose cybersecurity dialogue. Built on Foundation-Sec-8B, it combines domain-specific knowledge with instruction-following, conversational capabilities, and alignment with human preferences to produce high-quality, relevant responses. Comprehensive evaluations show that Foundation-Sec-8B-Instruct outperforms Llama 3.1-8B-Instruct on a range of cybersecurity tasks while matching its instruction-following performance. It is also competitive with GPT-4o-mini on cyber threat intelligence and instruction-following tasks. We envision Foundation-Sec-8B-Instruct becoming an indispensable assistant in the daily workflows of cybersecurity professionals. We release the model publicly at https://huggingface.co/fdtn-ai/Foundation-Sec-8B-Instruct.