Llama-3.1-FoundationAI-SecurityLLM-Base-8B 기술 보고서

초록

트랜스포머 기반의 대규모 언어 모델(LLM)이 사회 전반에 점점 더 깊이 스며들면서, 소프트웨어 엔지니어링, 창의적 글쓰기, 디지털 아트와 같은 분야에서 혁신을 일으키고 있습니다. 그러나 사이버 보안 분야에서는 전문화된 훈련 데이터의 부족과 사이버 보안 특화 지식을 표현하는 복잡성과 같은 문제로 인해 도입이 제한적입니다. 이러한 격차를 해결하기 위해, 우리는 Llama 3.1 아키텍처를 기반으로 구축하고 신중하게 선별된 사이버 보안 코퍼스로 지속적인 사전 훈련을 통해 강화된 사이버 보안 중심 LLM인 Foundation-Sec-8B를 소개합니다. 우리는 Foundation-Sec-8B를 기존의 그리고 새로운 사이버 보안 벤치마크에서 평가하며, 특정 사이버 보안 작업에서 Llama 3.1-70B 및 GPT-4o-mini와 동등한 성능을 보임을 입증합니다. 이 모델을 공개함으로써, 우리는 공공 및 민간 사이버 보안 맥락에서 AI 기반 도구의 발전과 도입을 가속화하고자 합니다.

English

As transformer-based large language models (LLMs) increasingly permeate society, they have revolutionized domains such as software engineering, creative writing, and digital arts. However, their adoption in cybersecurity remains limited due to challenges like scarcity of specialized training data and complexity of representing cybersecurity-specific knowledge. To address these gaps, we present Foundation-Sec-8B, a cybersecurity-focused LLM built on the Llama 3.1 architecture and enhanced through continued pretraining on a carefully curated cybersecurity corpus. We evaluate Foundation-Sec-8B across both established and new cybersecurity benchmarks, showing that it matches Llama 3.1-70B and GPT-4o-mini in certain cybersecurity-specific tasks. By releasing our model to the public, we aim to accelerate progress and adoption of AI-driven tools in both public and private cybersecurity contexts.

Llama-3.1-FoundationAI-SecurityLLM-Base-8B 기술 보고서

Llama-3.1-FoundationAI-SecurityLLM-Base-8B Technical Report

초록

Support