Llama-3.1-FoundationAI-SecurityLLM-Base-8B Technisch Rapport
Llama-3.1-FoundationAI-SecurityLLM-Base-8B Technical Report
April 28, 2025
Auteurs: Paul Kassianik, Baturay Saglam, Alexander Chen, Blaine Nelson, Anu Vellore, Massimo Aufiero, Fraser Burch, Dhruv Kedia, Avi Zohary, Sajana Weerawardhena, Aman Priyanshu, Adam Swanda, Amy Chang, Hyrum Anderson, Kojin Oshiba, Omar Santos, Yaron Singer, Amin Karbasi
cs.AI
Samenvatting
Naarmate transformer-gebaseerde grote taalmodellen (LLMs) steeds meer doordringen in de samenleving, hebben ze domeinen zoals software-engineering, creatief schrijven en digitale kunst gerevolutioneerd. Hun adoptie in cybersecurity blijft echter beperkt vanwege uitdagingen zoals schaarste aan gespecialiseerde trainingsdata en de complexiteit van het representeren van cybersecurity-specifieke kennis. Om deze lacunes aan te pakken, presenteren we Foundation-Sec-8B, een cybersecurity-gericht LLM gebouwd op de Llama 3.1-architectuur en versterkt door voortgezette pretraining op een zorgvuldig samengesteld cybersecurity-corpus. We evalueren Foundation-Sec-8B op zowel gevestigde als nieuwe cybersecurity-benchmarks, waaruit blijkt dat het Llama 3.1-70B en GPT-4o-mini evenaart in bepaalde cybersecurity-specifieke taken. Door ons model openbaar te maken, streven we ernaar de vooruitgang en adoptie van AI-gestuurde tools in zowel publieke als private cybersecurity-contexten te versnellen.
English
As transformer-based large language models (LLMs) increasingly permeate
society, they have revolutionized domains such as software engineering,
creative writing, and digital arts. However, their adoption in cybersecurity
remains limited due to challenges like scarcity of specialized training data
and complexity of representing cybersecurity-specific knowledge. To address
these gaps, we present Foundation-Sec-8B, a cybersecurity-focused LLM built on
the Llama 3.1 architecture and enhanced through continued pretraining on a
carefully curated cybersecurity corpus. We evaluate Foundation-Sec-8B across
both established and new cybersecurity benchmarks, showing that it matches
Llama 3.1-70B and GPT-4o-mini in certain cybersecurity-specific tasks. By
releasing our model to the public, we aim to accelerate progress and adoption
of AI-driven tools in both public and private cybersecurity contexts.