Llama-3.1-FoundationAI-SecurityLLM-8B-Instruct 기술 보고서
Llama-3.1-FoundationAI-SecurityLLM-8B-Instruct Technical Report
August 1, 2025
저자: Sajana Weerawardhena, Paul Kassianik, Blaine Nelson, Baturay Saglam, Anu Vellore, Aman Priyanshu, Supriti Vijay, Massimo Aufiero, Arthur Goldblatt, Fraser Burch, Ed Li, Jianliang He, Dhruv Kedia, Kojin Oshiba, Zhouran Yang, Yaron Singer, Amin Karbasi
cs.AI
초록
대규모 언어 모델(LLM)은 다양한 분야에서 두드러진 성공을 거두었지만, 일반적인 사이버보안 데이터의 부족, 표현적 복잡성, 그리고 안전 및 규제 문제로 인해 사이버보안 애플리케이션에의 통합은 여전히 제한적입니다. 이러한 격차를 해소하기 위해, 우리는 이전에 다운스트림 작업에 적합한 사이버보안 중심의 LLM인 Foundation-Sec-8B를 소개했습니다. 그러나 해당 모델은 채팅 스타일 상호작용이나 지시 따르기에는 설계되지 않았습니다. 이 보고서에서 우리는 일반적인 사이버보안 대화를 위해 특별히 훈련된 모델인 Foundation-Sec-8B-Instruct를 공개합니다. 이 모델은 Foundation-Sec-8B를 기반으로 하여 도메인 특화 지식과 지시 따르기, 대화 능력, 그리고 인간의 선호도와의 정렬을 결합하여 고품질의 관련 응답을 생성합니다. 포괄적인 평가 결과, Foundation-Sec-8B-Instruct는 다양한 사이버보안 작업에서 Llama 3.1-8B-Instruct를 능가하며, 지시 따르기 성능에서는 동등한 수준을 보입니다. 또한 사이버 위협 인텔리전스 및 지시 따르기 작업에서 GPT-4o-mini와도 경쟁력을 갖추고 있습니다. 우리는 Foundation-Sec-8B-Instruct가 사이버보안 전문가들의 일상 업무에서 필수적인 도구가 될 것으로 기대합니다. 이 모델은 https://huggingface.co/fdtn-ai/Foundation-Sec-8B-Instruct에서 공개적으로 제공됩니다.
English
Large language models (LLMs) have shown remarkable success across many
domains, yet their integration into cybersecurity applications remains limited
due to a lack of general-purpose cybersecurity data, representational
complexity, and safety and regulatory concerns. To address this gap, we
previously introduced Foundation-Sec-8B, a cybersecurity-focused LLM suitable
for fine-tuning on downstream tasks. That model, however, was not designed for
chat-style interactions or instruction-following. In this report, we release
Foundation-Sec-8B-Instruct: a model specifically trained for general-purpose
cybersecurity dialogue. Built on Foundation-Sec-8B, it combines domain-specific
knowledge with instruction-following, conversational capabilities, and
alignment with human preferences to produce high-quality, relevant responses.
Comprehensive evaluations show that Foundation-Sec-8B-Instruct outperforms
Llama 3.1-8B-Instruct on a range of cybersecurity tasks while matching its
instruction-following performance. It is also competitive with GPT-4o-mini on
cyber threat intelligence and instruction-following tasks. We envision
Foundation-Sec-8B-Instruct becoming an indispensable assistant in the daily
workflows of cybersecurity professionals. We release the model publicly at
https://huggingface.co/fdtn-ai/Foundation-Sec-8B-Instruct.