Llama-3.1-FoundationAI-SecurityLLM-8B-Instruct 技術報告書

Llama-3.1-FoundationAI-SecurityLLM-8B-Instruct Technical Report

August 1, 2025

著者: Sajana Weerawardhena, Paul Kassianik, Blaine Nelson, Baturay Saglam, Anu Vellore, Aman Priyanshu, Supriti Vijay, Massimo Aufiero, Arthur Goldblatt, Fraser Burch, Ed Li, Jianliang He, Dhruv Kedia, Kojin Oshiba, Zhouran Yang, Yaron Singer, Amin Karbasi

cs.AI

要旨

大規模言語モデル（LLMs）は多くの分野で顕著な成功を収めているが、汎用的なサイバーセキュリティデータの不足、表現の複雑さ、安全性および規制上の懸念により、サイバーセキュリティアプリケーションへの統合は限定的である。このギャップを埋めるため、我々は以前に下流タスクのファインチューニングに適したサイバーセキュリティに特化したLLMであるFoundation-Sec-8Bを導入した。しかし、そのモデルはチャット形式のインタラクションや指示追従を目的として設計されていなかった。本報告では、汎用的なサイバーセキュリティ対話に特化してトレーニングされたモデルであるFoundation-Sec-8B-Instructをリリースする。Foundation-Sec-8Bを基盤として構築されたこのモデルは、ドメイン固有の知識と指示追従、会話能力、人間の嗜好との整合性を組み合わせ、高品質で関連性の高い応答を生成する。包括的な評価により、Foundation-Sec-8B-Instructは、一連のサイバーセキュリティタスクにおいてLlama 3.1-8B-Instructを上回り、その指示追従性能にも匹敵することが示された。また、サイバー脅威インテリジェンスおよび指示追従タスクにおいてGPT-4o-miniと競合する。我々は、Foundation-Sec-8B-Instructがサイバーセキュリティ専門家の日常業務において不可欠なアシスタントとなることを期待している。本モデルはhttps://huggingface.co/fdtn-ai/Foundation-Sec-8B-Instructで公開されている。

English

Large language models (LLMs) have shown remarkable success across many domains, yet their integration into cybersecurity applications remains limited due to a lack of general-purpose cybersecurity data, representational complexity, and safety and regulatory concerns. To address this gap, we previously introduced Foundation-Sec-8B, a cybersecurity-focused LLM suitable for fine-tuning on downstream tasks. That model, however, was not designed for chat-style interactions or instruction-following. In this report, we release Foundation-Sec-8B-Instruct: a model specifically trained for general-purpose cybersecurity dialogue. Built on Foundation-Sec-8B, it combines domain-specific knowledge with instruction-following, conversational capabilities, and alignment with human preferences to produce high-quality, relevant responses. Comprehensive evaluations show that Foundation-Sec-8B-Instruct outperforms Llama 3.1-8B-Instruct on a range of cybersecurity tasks while matching its instruction-following performance. It is also competitive with GPT-4o-mini on cyber threat intelligence and instruction-following tasks. We envision Foundation-Sec-8B-Instruct becoming an indispensable assistant in the daily workflows of cybersecurity professionals. We release the model publicly at https://huggingface.co/fdtn-ai/Foundation-Sec-8B-Instruct.