AthenaBench: un benchmark dinamico per la valutazione di LLM nell'intelligence sulle minacce informatiche

AthenaBench: A Dynamic Benchmark for Evaluating LLMs in Cyber Threat Intelligence

November 3, 2025

Autori: Md Tanvirul Alam, Dipkamal Bhusal, Salman Ahmad, Nidhi Rastogi, Peter Worth

cs.AI

Abstract

I modelli linguistici di grandi dimensioni (LLM) hanno dimostrato notevoli capacità nel ragionamento linguistico naturale, ma la loro applicazione all'Intelligence sulle Minacce Informatiche (CTI) rimane limitata. L'analisi CTI comporta la distillazione di grandi volumi di report non strutturati in conoscenza azionabile, un processo in cui gli LLM potrebbero ridurre significativamente il carico di lavoro degli analisti. CTIBench ha introdotto un benchmark completo per valutare gli LLM in molteplici attività CTI. In questo lavoro, estendiamo CTIBench sviluppando AthenaBench, un benchmark potenziato che include una pipeline migliorata per la creazione di dataset, la rimozione di duplicati, metriche di valutazione raffinate e un nuovo compito focalizzato sulle strategie di mitigazione del rischio. Valutiamo dodici LLM, inclusi modelli proprietari all'avanguardia come GPT-5 e Gemini-2.5 Pro, insieme a sette modelli open-source delle famiglie LLaMA e Qwen. Sebbene gli LLM proprietari ottengano risultati complessivamente più solidi, le loro prestazioni rimangono insoddisfacenti in compiti ad alta intensità di ragionamento, come l'attribuzione dei threat actor e la mitigazione del rischio, con i modelli open-source che risultano ulteriormente in ritardo. Questi risultati evidenziano limitazioni fondamentali nelle capacità di ragionamento degli LLM attuali e sottolineano la necessità di modelli esplicitamente progettati per i flussi di lavoro e l'automazione CTI.

English

Large Language Models (LLMs) have demonstrated strong capabilities in natural language reasoning, yet their application to Cyber Threat Intelligence (CTI) remains limited. CTI analysis involves distilling large volumes of unstructured reports into actionable knowledge, a process where LLMs could substantially reduce analyst workload. CTIBench introduced a comprehensive benchmark for evaluating LLMs across multiple CTI tasks. In this work, we extend CTIBench by developing AthenaBench, an enhanced benchmark that includes an improved dataset creation pipeline, duplicate removal, refined evaluation metrics, and a new task focused on risk mitigation strategies. We evaluate twelve LLMs, including state-of-the-art proprietary models such as GPT-5 and Gemini-2.5 Pro, alongside seven open-source models from the LLaMA and Qwen families. While proprietary LLMs achieve stronger results overall, their performance remains subpar on reasoning-intensive tasks, such as threat actor attribution and risk mitigation, with open-source models trailing even further behind. These findings highlight fundamental limitations in the reasoning capabilities of current LLMs and underscore the need for models explicitly tailored to CTI workflows and automation.