Supernova-gebeurtenisdataset: Interpretatie van de Persoonlijkheid van Grote Taalmodellen via Kritische Gebeurtenisanalyse

Supernova Event Dataset: Interpreting Large Language Model's Personality through Critical Event Analysis

June 13, 2025

Auteurs: Pranav Agarwal, Ioana Ciucă

cs.AI

Samenvatting

Grote Taalmodellen (LLMs) worden steeds vaker geïntegreerd in alledaagse toepassingen. Naarmate hun invloed groeit, wordt het essentieel om hun besluitvorming en onderliggende persoonlijkheid te begrijpen. In dit werk interpreteren we modelpersoonlijkheid met behulp van onze voorgestelde Supernova Event Dataset, een nieuwe dataset met diverse artikelen die biografieën, historische gebeurtenissen, nieuws en wetenschappelijke ontdekkingen omvatten. We gebruiken deze dataset om LLMs te benchmarken op het extraheren en rangschikken van sleutelgebeurtenissen uit tekst, een subjectieve en complexe uitdaging die redeneren over lange context en het modelleren van causale ketens vereist. We evalueren kleine modellen zoals Phi-4, Orca 2 en Qwen 2.5, en grote, sterkere modellen zoals Claude 3.7, Gemini 2.5 en OpenAI o3, en stellen een framework voor waarin een ander LLM optreedt als rechter om de persoonlijkheid van elk model af te leiden op basis van zijn selectie en classificatie van gebeurtenissen. Onze analyse toont duidelijke persoonlijkheidskenmerken: bijvoorbeeld, Orca 2 toont emotioneel redeneren met focus op interpersoonlijke dynamiek, terwijl Qwen 2.5 een meer strategische, analytische stijl vertoont. Bij het analyseren van wetenschappelijke ontdekkingen legt Claude Sonnet 3.7 de nadruk op conceptuele kaders, prioriteert Gemini 2.5 Pro empirische validatie, en geeft o3 de voorkeur aan stap-voor-stap causaal redeneren. Deze analyse verbetert de interpreteerbaarheid van modellen, waardoor ze gebruiksvriendelijker worden voor een breed scala aan diverse toepassingen.

English

Large Language Models (LLMs) are increasingly integrated into everyday applications. As their influence grows, understanding their decision making and underlying personality becomes essential. In this work, we interpret model personality using our proposed Supernova Event Dataset, a novel dataset with diverse articles spanning biographies, historical events, news, and scientific discoveries. We use this dataset to benchmark LLMs on extracting and ranking key events from text, a subjective and complex challenge that requires reasoning over long-range context and modeling causal chains. We evaluate small models like Phi-4, Orca 2, and Qwen 2.5, and large, stronger models such as Claude 3.7, Gemini 2.5, and OpenAI o3, and propose a framework where another LLM acts as a judge to infer each model's personality based on its selection and classification of events. Our analysis shows distinct personality traits: for instance, Orca 2 demonstrates emotional reasoning focusing on interpersonal dynamics, while Qwen 2.5 displays a more strategic, analytical style. When analyzing scientific discovery events, Claude Sonnet 3.7 emphasizes conceptual framing, Gemini 2.5 Pro prioritizes empirical validation, and o3 favors step-by-step causal reasoning. This analysis improves model interpretability, making them user-friendly for a wide range of diverse applications.