アテナベンチ：サイバー脅威インテリジェンスにおけるLLM評価のための動的ベンチマーク

要旨

大規模言語モデル（LLM）は自然言語推論において強力な能力を発揮するが、サイバー脅威インテリジェンス（CTI）への応用は依然として限定的である。CTI分析は、大量の非構造化レポートから実践可能な知識を抽出するプロセスであり、LLMを活用することで分析者の負荷を大幅に軽減できる可能性がある。CTIBenchは、複数のCTIタスクにわたるLLM評価のための包括的ベンチマークを提案した。本研究では、データセット作成パイプラインの改良、重複排除、精緻化された評価指標、リスク軽減戦略に焦点を当てた新タスクを含む拡張ベンチマークであるAthenaBenchを開発し、CTIBenchを発展させる。GPT-5やGemini-2.5 Proといった最先端のプロプライエタリモデルと、LLaMAおよびQwenファミリーの7つのオープンソースモデルを含む計12のLLMを評価した。プロプライエタリLLMは全体的に優れた結果を示すものの、脅威アクターの帰属分析やリスク軽減といった推論集約型タスクでは性能が十分ではなく、オープンソースモデルはさらに遅れをとっている。これらの知見は、現行LLMの推論能力における根本的限界を浮き彫りにするとともに、CTIワークフローと自動化に特化して設計されたモデルの必要性を強調するものである。

English

Large Language Models (LLMs) have demonstrated strong capabilities in natural language reasoning, yet their application to Cyber Threat Intelligence (CTI) remains limited. CTI analysis involves distilling large volumes of unstructured reports into actionable knowledge, a process where LLMs could substantially reduce analyst workload. CTIBench introduced a comprehensive benchmark for evaluating LLMs across multiple CTI tasks. In this work, we extend CTIBench by developing AthenaBench, an enhanced benchmark that includes an improved dataset creation pipeline, duplicate removal, refined evaluation metrics, and a new task focused on risk mitigation strategies. We evaluate twelve LLMs, including state-of-the-art proprietary models such as GPT-5 and Gemini-2.5 Pro, alongside seven open-source models from the LLaMA and Qwen families. While proprietary LLMs achieve stronger results overall, their performance remains subpar on reasoning-intensive tasks, such as threat actor attribution and risk mitigation, with open-source models trailing even further behind. These findings highlight fundamental limitations in the reasoning capabilities of current LLMs and underscore the need for models explicitly tailored to CTI workflows and automation.

アテナベンチ：サイバー脅威インテリジェンスにおけるLLM評価のための動的ベンチマーク

AthenaBench: A Dynamic Benchmark for Evaluating LLMs in Cyber Threat Intelligence

要旨

Support