Набор данных о событиях сверхновых: интерпретация личности крупной языковой модели через анализ критических событий

Supernova Event Dataset: Interpreting Large Language Model's Personality through Critical Event Analysis

June 13, 2025

Авторы: Pranav Agarwal, Ioana Ciucă

cs.AI

Аннотация

Крупные языковые модели (LLMs) все чаще интегрируются в повседневные приложения. По мере роста их влияния становится крайне важным понимание их процесса принятия решений и лежащей в основе "личности". В данной работе мы интерпретируем "личность" модели с использованием предложенного нами набора данных Supernova Event Dataset — нового набора данных, содержащего разнообразные статьи, охватывающие биографии, исторические события, новости и научные открытия. Мы используем этот набор данных для тестирования LLMs на задаче извлечения и ранжирования ключевых событий из текста — субъективной и сложной задачи, требующей рассуждений в рамках длинного контекста и моделирования причинно-следственных цепочек. Мы оцениваем небольшие модели, такие как Phi-4, Orca 2 и Qwen 2.5, а также более крупные и мощные модели, такие как Claude 3.7, Gemini 2.5 и OpenAI o3, и предлагаем подход, в котором другая LLM выступает в роли судьи, чтобы выявить "личность" каждой модели на основе ее выбора и классификации событий. Наш анализ выявляет различные черты "личности": например, Orca 2 демонстрирует эмоциональное мышление, фокусируясь на межличностной динамике, в то время как Qwen 2.5 проявляет более стратегический и аналитический стиль. При анализе событий, связанных с научными открытиями, Claude Sonnet 3.7 акцентирует внимание на концептуальном подходе, Gemini 2.5 Pro делает упор на эмпирическую проверку, а o3 предпочитает пошаговое причинно-следственное рассуждение. Этот анализ повышает интерпретируемость моделей, делая их более удобными для широкого спектра разнообразных приложений.

English

Large Language Models (LLMs) are increasingly integrated into everyday applications. As their influence grows, understanding their decision making and underlying personality becomes essential. In this work, we interpret model personality using our proposed Supernova Event Dataset, a novel dataset with diverse articles spanning biographies, historical events, news, and scientific discoveries. We use this dataset to benchmark LLMs on extracting and ranking key events from text, a subjective and complex challenge that requires reasoning over long-range context and modeling causal chains. We evaluate small models like Phi-4, Orca 2, and Qwen 2.5, and large, stronger models such as Claude 3.7, Gemini 2.5, and OpenAI o3, and propose a framework where another LLM acts as a judge to infer each model's personality based on its selection and classification of events. Our analysis shows distinct personality traits: for instance, Orca 2 demonstrates emotional reasoning focusing on interpersonal dynamics, while Qwen 2.5 displays a more strategic, analytical style. When analyzing scientific discovery events, Claude Sonnet 3.7 emphasizes conceptual framing, Gemini 2.5 Pro prioritizes empirical validation, and o3 favors step-by-step causal reasoning. This analysis improves model interpretability, making them user-friendly for a wide range of diverse applications.