Llama-3.1-FoundationAI-SecurityLLM-Base-8B Technischer Bericht

Llama-3.1-FoundationAI-SecurityLLM-Base-8B Technical Report

April 28, 2025

Autoren: Paul Kassianik, Baturay Saglam, Alexander Chen, Blaine Nelson, Anu Vellore, Massimo Aufiero, Fraser Burch, Dhruv Kedia, Avi Zohary, Sajana Weerawardhena, Aman Priyanshu, Adam Swanda, Amy Chang, Hyrum Anderson, Kojin Oshiba, Omar Santos, Yaron Singer, Amin Karbasi

cs.AI

Zusammenfassung

Da transformer-basierte große Sprachmodelle (LLMs) zunehmend die Gesellschaft durchdringen, haben sie Bereiche wie Softwareentwicklung, kreatives Schreiben und digitale Kunst revolutioniert. Ihre Einführung in der Cybersicherheit bleibt jedoch aufgrund von Herausforderungen wie der Knappheit spezialisierter Trainingsdaten und der Komplexität der Darstellung cybersicherheitsspezifischen Wissens begrenzt. Um diese Lücken zu schließen, präsentieren wir Foundation-Sec-8B, ein auf Cybersicherheit ausgerichtetes LLM, das auf der Llama 3.1-Architektur basiert und durch kontinuierliches Vortraining auf einem sorgfältig kuratierten Cybersicherheitskorpus verbessert wurde. Wir evaluieren Foundation-Sec-8B anhand etablierter und neuer Cybersicherheits-Benchmarks und zeigen, dass es in bestimmten cybersicherheitsspezifischen Aufgaben Llama 3.1-70B und GPT-4o-mini erreicht. Durch die Veröffentlichung unseres Modells für die Öffentlichkeit streben wir an, den Fortschritt und die Einführung KI-gestützter Werkzeuge in öffentlichen und privaten Cybersicherheitskontexten zu beschleunigen.

English

As transformer-based large language models (LLMs) increasingly permeate society, they have revolutionized domains such as software engineering, creative writing, and digital arts. However, their adoption in cybersecurity remains limited due to challenges like scarcity of specialized training data and complexity of representing cybersecurity-specific knowledge. To address these gaps, we present Foundation-Sec-8B, a cybersecurity-focused LLM built on the Llama 3.1 architecture and enhanced through continued pretraining on a carefully curated cybersecurity corpus. We evaluate Foundation-Sec-8B across both established and new cybersecurity benchmarks, showing that it matches Llama 3.1-70B and GPT-4o-mini in certain cybersecurity-specific tasks. By releasing our model to the public, we aim to accelerate progress and adoption of AI-driven tools in both public and private cybersecurity contexts.