Informe Técnico de Llama-3.1-FoundationAI-SecurityLLM-8B-Instruct

Llama-3.1-FoundationAI-SecurityLLM-8B-Instruct Technical Report

August 1, 2025

Autores: Sajana Weerawardhena, Paul Kassianik, Blaine Nelson, Baturay Saglam, Anu Vellore, Aman Priyanshu, Supriti Vijay, Massimo Aufiero, Arthur Goldblatt, Fraser Burch, Ed Li, Jianliang He, Dhruv Kedia, Kojin Oshiba, Zhouran Yang, Yaron Singer, Amin Karbasi

cs.AI

Resumen

Los modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés) han demostrado un éxito notable en muchos dominios, aunque su integración en aplicaciones de ciberseguridad sigue siendo limitada debido a la falta de datos de ciberseguridad de propósito general, la complejidad representacional y las preocupaciones de seguridad y normativas. Para abordar esta brecha, previamente presentamos Foundation-Sec-8B, un LLM enfocado en ciberseguridad adecuado para ajustes en tareas posteriores. Sin embargo, ese modelo no fue diseñado para interacciones estilo chat o para seguir instrucciones. En este informe, lanzamos Foundation-Sec-8B-Instruct: un modelo específicamente entrenado para diálogos de ciberseguridad de propósito general. Construido sobre Foundation-Sec-8B, combina conocimiento específico del dominio con la capacidad de seguir instrucciones, habilidades conversacionales y alineación con las preferencias humanas para producir respuestas relevantes y de alta calidad. Evaluaciones exhaustivas muestran que Foundation-Sec-8B-Instruct supera a Llama 3.1-8B-Instruct en una variedad de tareas de ciberseguridad, al tiempo que iguala su rendimiento en la capacidad de seguir instrucciones. También es competitivo con GPT-4o-mini en tareas de inteligencia de amenazas cibernéticas y de seguimiento de instrucciones. Visualizamos que Foundation-Sec-8B-Instruct se convierta en un asistente indispensable en los flujos de trabajo diarios de los profesionales de ciberseguridad. Publicamos el modelo en https://huggingface.co/fdtn-ai/Foundation-Sec-8B-Instruct.

English

Large language models (LLMs) have shown remarkable success across many domains, yet their integration into cybersecurity applications remains limited due to a lack of general-purpose cybersecurity data, representational complexity, and safety and regulatory concerns. To address this gap, we previously introduced Foundation-Sec-8B, a cybersecurity-focused LLM suitable for fine-tuning on downstream tasks. That model, however, was not designed for chat-style interactions or instruction-following. In this report, we release Foundation-Sec-8B-Instruct: a model specifically trained for general-purpose cybersecurity dialogue. Built on Foundation-Sec-8B, it combines domain-specific knowledge with instruction-following, conversational capabilities, and alignment with human preferences to produce high-quality, relevant responses. Comprehensive evaluations show that Foundation-Sec-8B-Instruct outperforms Llama 3.1-8B-Instruct on a range of cybersecurity tasks while matching its instruction-following performance. It is also competitive with GPT-4o-mini on cyber threat intelligence and instruction-following tasks. We envision Foundation-Sec-8B-Instruct becoming an indispensable assistant in the daily workflows of cybersecurity professionals. We release the model publicly at https://huggingface.co/fdtn-ai/Foundation-Sec-8B-Instruct.