Relatório Técnico do Llama-3.1-FoundationAI-SecurityLLM-Base-8B

Llama-3.1-FoundationAI-SecurityLLM-Base-8B Technical Report

April 28, 2025

Autores: Paul Kassianik, Baturay Saglam, Alexander Chen, Blaine Nelson, Anu Vellore, Massimo Aufiero, Fraser Burch, Dhruv Kedia, Avi Zohary, Sajana Weerawardhena, Aman Priyanshu, Adam Swanda, Amy Chang, Hyrum Anderson, Kojin Oshiba, Omar Santos, Yaron Singer, Amin Karbasi

cs.AI

Resumo

À medida que os grandes modelos de linguagem (LLMs) baseados em transformers se tornam cada vez mais presentes na sociedade, eles revolucionaram domínios como engenharia de software, escrita criativa e artes digitais. No entanto, sua adoção na área de cibersegurança permanece limitada devido a desafios como a escassez de dados de treinamento especializados e a complexidade de representar conhecimentos específicos de cibersegurança. Para abordar essas lacunas, apresentamos o Foundation-Sec-8B, um LLM focado em cibersegurança, construído sobre a arquitetura Llama 3.1 e aprimorado por meio de pré-treinamento contínuo em um corpus de cibersegurança cuidadosamente curado. Avaliamos o Foundation-Sec-8B em benchmarks de cibersegurança estabelecidos e novos, demonstrando que ele se equipara ao Llama 3.1-70B e ao GPT-4o-mini em certas tarefas específicas de cibersegurança. Ao disponibilizar nosso modelo publicamente, visamos acelerar o progresso e a adoção de ferramentas impulsionadas por IA em contextos de cibersegurança tanto públicos quanto privados.

English

As transformer-based large language models (LLMs) increasingly permeate society, they have revolutionized domains such as software engineering, creative writing, and digital arts. However, their adoption in cybersecurity remains limited due to challenges like scarcity of specialized training data and complexity of representing cybersecurity-specific knowledge. To address these gaps, we present Foundation-Sec-8B, a cybersecurity-focused LLM built on the Llama 3.1 architecture and enhanced through continued pretraining on a carefully curated cybersecurity corpus. We evaluate Foundation-Sec-8B across both established and new cybersecurity benchmarks, showing that it matches Llama 3.1-70B and GPT-4o-mini in certain cybersecurity-specific tasks. By releasing our model to the public, we aim to accelerate progress and adoption of AI-driven tools in both public and private cybersecurity contexts.