Informe Técnico de Llama-3.1-FoundationAI-SecurityLLM-Base-8B

Llama-3.1-FoundationAI-SecurityLLM-Base-8B Technical Report

April 28, 2025

Autores: Paul Kassianik, Baturay Saglam, Alexander Chen, Blaine Nelson, Anu Vellore, Massimo Aufiero, Fraser Burch, Dhruv Kedia, Avi Zohary, Sajana Weerawardhena, Aman Priyanshu, Adam Swanda, Amy Chang, Hyrum Anderson, Kojin Oshiba, Omar Santos, Yaron Singer, Amin Karbasi

cs.AI

Resumen

A medida que los modelos de lenguaje de gran escala (LLMs) basados en transformadores se integran cada vez más en la sociedad, han revolucionado dominios como la ingeniería de software, la escritura creativa y las artes digitales. Sin embargo, su adopción en el ámbito de la ciberseguridad sigue siendo limitada debido a desafíos como la escasez de datos de entrenamiento especializados y la complejidad de representar conocimientos específicos de ciberseguridad. Para abordar estas brechas, presentamos Foundation-Sec-8B, un LLM centrado en ciberseguridad construido sobre la arquitectura Llama 3.1 y mejorado mediante un preentrenamiento continuo en un corpus de ciberseguridad cuidadosamente seleccionado. Evaluamos Foundation-Sec-8B en puntos de referencia establecidos y nuevos en ciberseguridad, demostrando que iguala a Llama 3.1-70B y GPT-4o-mini en ciertas tareas específicas de ciberseguridad. Al liberar nuestro modelo al público, buscamos acelerar el progreso y la adopción de herramientas impulsadas por IA en contextos de ciberseguridad tanto públicos como privados.

English

As transformer-based large language models (LLMs) increasingly permeate society, they have revolutionized domains such as software engineering, creative writing, and digital arts. However, their adoption in cybersecurity remains limited due to challenges like scarcity of specialized training data and complexity of representing cybersecurity-specific knowledge. To address these gaps, we present Foundation-Sec-8B, a cybersecurity-focused LLM built on the Llama 3.1 architecture and enhanced through continued pretraining on a carefully curated cybersecurity corpus. We evaluate Foundation-Sec-8B across both established and new cybersecurity benchmarks, showing that it matches Llama 3.1-70B and GPT-4o-mini in certain cybersecurity-specific tasks. By releasing our model to the public, we aim to accelerate progress and adoption of AI-driven tools in both public and private cybersecurity contexts.