AthenaBench: Ein dynamischer Benchmark zur Bewertung von LLMs in der Cyber-Bedrohungsaufklärung

AthenaBench: A Dynamic Benchmark for Evaluating LLMs in Cyber Threat Intelligence

November 3, 2025

papers.authors: Md Tanvirul Alam, Dipkamal Bhusal, Salman Ahmad, Nidhi Rastogi, Peter Worth

cs.AI

papers.abstract

Große Sprachmodelle (LLMs) haben starke Fähigkeiten im natürlichen Sprachverständnis bewiesen, doch ihre Anwendung in der Cyber-Bedrohungsaufklärung (CTI) bleibt begrenzt. Die CTI-Analyse umfasst die Verdichtung großer Mengen unstrukturierter Berichte in handlungsrelevantes Wissen – ein Prozess, bei dem LLMs den Arbeitsaufwand von Analysten erheblich reduzieren könnten. CTIBench führte einen umfassenden Benchmark zur Bewertung von LLMs über mehrere CTI-Aufgaben hinweg ein. In dieser Arbeit erweitern wir CTIBench durch die Entwicklung von AthenaBench, einem verbesserten Benchmark, der eine optimierte Datensatz-Erstellungspipeline, Duplikatentfernung, verfeinerte Evaluierungsmetriken und eine neue Aufgabe mit Fokus auf Risikominderungsstrategien umfasst. Wir evaluieren zwölf LLMs, darunter state-of-the-art proprietäre Modelle wie GPT-5 und Gemini-2.5 Pro, sowie sieben Open-Source-Modelle der LLaMA- und Qwen-Familien. Während proprietäre LLMs insgesamt stärkere Ergebnisse erzielen, bleibt ihre Leistung bei reasoning-intensiven Aufgaben, wie der Zuschreibung von Bedrohungsakteuren und Risikominderung, unzureichend, wobei Open-Source-Modelle noch weiter zurückfallen. Diese Ergebnisse verdeutlichen grundlegende Grenzen der Reasoning-Fähigkeiten aktueller LLMs und unterstreichen die Notwendigkeit von Modellen, die explizit auf CTI-Workflows und Automatisierung zugeschnitten sind.

English

Large Language Models (LLMs) have demonstrated strong capabilities in natural language reasoning, yet their application to Cyber Threat Intelligence (CTI) remains limited. CTI analysis involves distilling large volumes of unstructured reports into actionable knowledge, a process where LLMs could substantially reduce analyst workload. CTIBench introduced a comprehensive benchmark for evaluating LLMs across multiple CTI tasks. In this work, we extend CTIBench by developing AthenaBench, an enhanced benchmark that includes an improved dataset creation pipeline, duplicate removal, refined evaluation metrics, and a new task focused on risk mitigation strategies. We evaluate twelve LLMs, including state-of-the-art proprietary models such as GPT-5 and Gemini-2.5 Pro, alongside seven open-source models from the LLaMA and Qwen families. While proprietary LLMs achieve stronger results overall, their performance remains subpar on reasoning-intensive tasks, such as threat actor attribution and risk mitigation, with open-source models trailing even further behind. These findings highlight fundamental limitations in the reasoning capabilities of current LLMs and underscore the need for models explicitly tailored to CTI workflows and automation.