Rapporto Tecnico di Llama-3.1-FoundationAI-SecurityLLM-Base-8B

Llama-3.1-FoundationAI-SecurityLLM-Base-8B Technical Report

April 28, 2025

Autori: Paul Kassianik, Baturay Saglam, Alexander Chen, Blaine Nelson, Anu Vellore, Massimo Aufiero, Fraser Burch, Dhruv Kedia, Avi Zohary, Sajana Weerawardhena, Aman Priyanshu, Adam Swanda, Amy Chang, Hyrum Anderson, Kojin Oshiba, Omar Santos, Yaron Singer, Amin Karbasi

cs.AI

Abstract

Man mano che i grandi modelli linguistici (LLM) basati su trasformatori permeano sempre più la società, hanno rivoluzionato ambiti come l'ingegneria del software, la scrittura creativa e le arti digitali. Tuttavia, il loro utilizzo nella cybersecurity rimane limitato a causa di sfide come la scarsità di dati di addestramento specializzati e la complessità nella rappresentazione di conoscenze specifiche per la cybersecurity. Per colmare queste lacune, presentiamo Foundation-Sec-8B, un LLM focalizzato sulla cybersecurity, costruito sull'architettura Llama 3.1 e potenziato attraverso un pre-addestramento continuo su un corpus di cybersecurity accuratamente curato. Valutiamo Foundation-Sec-8B sia su benchmark consolidati che su nuovi test specifici per la cybersecurity, dimostrando che eguaglia Llama 3.1-70B e GPT-4o-mini in determinati compiti specifici per la cybersecurity. Rilasciando il nostro modello al pubblico, miriamo ad accelerare il progresso e l'adozione di strumenti guidati dall'intelligenza artificiale nei contesti di cybersecurity sia pubblici che privati.

English

As transformer-based large language models (LLMs) increasingly permeate society, they have revolutionized domains such as software engineering, creative writing, and digital arts. However, their adoption in cybersecurity remains limited due to challenges like scarcity of specialized training data and complexity of representing cybersecurity-specific knowledge. To address these gaps, we present Foundation-Sec-8B, a cybersecurity-focused LLM built on the Llama 3.1 architecture and enhanced through continued pretraining on a carefully curated cybersecurity corpus. We evaluate Foundation-Sec-8B across both established and new cybersecurity benchmarks, showing that it matches Llama 3.1-70B and GPT-4o-mini in certain cybersecurity-specific tasks. By releasing our model to the public, we aim to accelerate progress and adoption of AI-driven tools in both public and private cybersecurity contexts.