Llama-3.1-FoundationAI-SecurityLLM-Base-8B 技術レポート

要旨

トランスフォーマーベースの大規模言語モデル（LLM）が社会に浸透するにつれ、ソフトウェアエンジニアリング、クリエイティブライティング、デジタルアートなどの分野に革命をもたらしています。しかし、サイバーセキュリティ分野での採用は、専門的なトレーニングデータの不足や、サイバーセキュリティ固有の知識を表現する複雑さといった課題により、依然として限定的です。これらのギャップを埋めるため、私たちはLlama 3.1アーキテクチャを基盤とし、慎重に選別されたサイバーセキュリティコーパスを用いた継続的な事前学習を経て強化された、サイバーセキュリティに特化したLLM「Foundation-Sec-8B」を提案します。Foundation-Sec-8Bを既存および新たなサイバーセキュリティベンチマークで評価した結果、特定のサイバーセキュリティタスクにおいてLlama 3.1-70BやGPT-4o-miniと同等の性能を示すことが確認されました。本モデルを公開することで、公共および民間のサイバーセキュリティ分野におけるAI駆動ツールの進展と採用を加速することを目指します。

English

As transformer-based large language models (LLMs) increasingly permeate society, they have revolutionized domains such as software engineering, creative writing, and digital arts. However, their adoption in cybersecurity remains limited due to challenges like scarcity of specialized training data and complexity of representing cybersecurity-specific knowledge. To address these gaps, we present Foundation-Sec-8B, a cybersecurity-focused LLM built on the Llama 3.1 architecture and enhanced through continued pretraining on a carefully curated cybersecurity corpus. We evaluate Foundation-Sec-8B across both established and new cybersecurity benchmarks, showing that it matches Llama 3.1-70B and GPT-4o-mini in certain cybersecurity-specific tasks. By releasing our model to the public, we aim to accelerate progress and adoption of AI-driven tools in both public and private cybersecurity contexts.

Llama-3.1-FoundationAI-SecurityLLM-Base-8B 技術レポート

Llama-3.1-FoundationAI-SecurityLLM-Base-8B Technical Report

要旨

Support