AthenaBench: Een dynamische benchmark voor de evaluatie van grote taalmodel(len) in cyberdreigingsinformatie

AthenaBench: A Dynamic Benchmark for Evaluating LLMs in Cyber Threat Intelligence

November 3, 2025

Auteurs: Md Tanvirul Alam, Dipkamal Bhusal, Salman Ahmad, Nidhi Rastogi, Peter Worth

cs.AI

Samenvatting

Grote Taalmodellen (LLM's) hebben sterke capaciteiten getoond op het gebied van natuurlijk taalredeneren, maar hun toepassing binnen Cyber Threat Intelligence (CTI) blijft beperkt. CTI-analyse houdt in dat grote hoeveelheden ongestructureerde rapporten worden gedistilleerd tot actiegerichte kennis, een proces waarbij LLM's de werklast van analisten aanzienlijk zouden kunnen verminderen. CTIBench introduceerde een uitgebreide benchmark voor het evalueren van LLM's op meerdere CTI-taken. In dit werk breiden we CTIBench uit door de ontwikkeling van AthenaBench, een verbeterde benchmark die een verbeterde datasetcreatiepijplijn, verwijdering van duplicaten, verfijnde evaluatiemetrieken en een nieuwe taak gericht op risicomitigatiestrategieën omvat. We evalueren twaalf LLM's, waaronder state-of-the-art propriëtaire modellen zoals GPT-5 en Gemini-2.5 Pro, naast zeven open-source modellen uit de LLaMA- en Qwen-families. Hoewel propriëtaire LLM's over het algemeen sterkere resultaten behalen, blijft hun prestatieniveau ondermaats op redeneringsintensieve taken, zoals het toeschrijven van dreigingsactoren en risicomitigatie, waarbij open-source modellen nog verder achterblijven. Deze bevindingen belichten fundamentele beperkingen in de redeneercapaciteiten van huidige LLM's en benadrukken de noodzaak van modellen die expliciet zijn afgestemd op CTI-workflows en automatisering.

English

Large Language Models (LLMs) have demonstrated strong capabilities in natural language reasoning, yet their application to Cyber Threat Intelligence (CTI) remains limited. CTI analysis involves distilling large volumes of unstructured reports into actionable knowledge, a process where LLMs could substantially reduce analyst workload. CTIBench introduced a comprehensive benchmark for evaluating LLMs across multiple CTI tasks. In this work, we extend CTIBench by developing AthenaBench, an enhanced benchmark that includes an improved dataset creation pipeline, duplicate removal, refined evaluation metrics, and a new task focused on risk mitigation strategies. We evaluate twelve LLMs, including state-of-the-art proprietary models such as GPT-5 and Gemini-2.5 Pro, alongside seven open-source models from the LLaMA and Qwen families. While proprietary LLMs achieve stronger results overall, their performance remains subpar on reasoning-intensive tasks, such as threat actor attribution and risk mitigation, with open-source models trailing even further behind. These findings highlight fundamental limitations in the reasoning capabilities of current LLMs and underscore the need for models explicitly tailored to CTI workflows and automation.