PersonaX: Dataset Multimodali con Tratti Comportamentali Inferiti da LLM

PersonaX: Multimodal Datasets with LLM-Inferred Behavior Traits

September 14, 2025

Autori: Loka Li, Wong Yu Kang, Minghao Fu, Guangyi Chen, Zhenhao Chen, Gongxu Luo, Yuewen Sun, Salman Khan, Peter Spirtes, Kun Zhang

cs.AI

Abstract

Comprendere i tratti del comportamento umano è fondamentale per applicazioni nell'interazione uomo-computer, nelle scienze sociali computazionali e nei sistemi di intelligenza artificiale personalizzati. Tale comprensione spesso richiede l'integrazione di più modalità per catturare modelli e relazioni sfumati. Tuttavia, le risorse esistenti raramente forniscono dataset che combinano descrittori comportamentali con modalità complementari come attributi facciali e informazioni biografiche. Per colmare questa lacuna, presentiamo PersonaX, una raccolta curata di dataset multimodali progettati per consentire un'analisi completa dei tratti pubblici attraverso diverse modalità. PersonaX è composto da (1) CelebPersona, che include 9444 figure pubbliche provenienti da occupazioni diverse, e (2) AthlePersona, che copre 4181 atleti professionisti di 7 principali leghe sportive. Ogni dataset include valutazioni dei tratti comportamentali inferiti da tre modelli linguistici di grandi dimensioni ad alte prestazioni, insieme a immagini facciali e caratteristiche biografiche strutturate. Analizziamo PersonaX a due livelli complementari. In primo luogo, astraiamo punteggi di tratti di alto livello dalle descrizioni testuali e applichiamo cinque test di indipendenza statistica per esaminare le loro relazioni con altre modalità. In secondo luogo, introduciamo un nuovo framework di apprendimento della rappresentazione causale (CRL) adattato a dati multimodali e multi-misura, fornendo garanzie teoriche di identificabilità. Esperimenti su dati sia sintetici che reali dimostrano l'efficacia del nostro approccio. Unificando analisi strutturate e non strutturate, PersonaX stabilisce una base per studiare i tratti comportamentali inferiti dai modelli linguistici in congiunzione con attributi visivi e biografici, avanzando l'analisi multimodale dei tratti e il ragionamento causale.

English

Understanding human behavior traits is central to applications in human-computer interaction, computational social science, and personalized AI systems. Such understanding often requires integrating multiple modalities to capture nuanced patterns and relationships. However, existing resources rarely provide datasets that combine behavioral descriptors with complementary modalities such as facial attributes and biographical information. To address this gap, we present PersonaX, a curated collection of multimodal datasets designed to enable comprehensive analysis of public traits across modalities. PersonaX consists of (1) CelebPersona, featuring 9444 public figures from diverse occupations, and (2) AthlePersona, covering 4181 professional athletes across 7 major sports leagues. Each dataset includes behavioral trait assessments inferred by three high-performing large language models, alongside facial imagery and structured biographical features. We analyze PersonaX at two complementary levels. First, we abstract high-level trait scores from text descriptions and apply five statistical independence tests to examine their relationships with other modalities. Second, we introduce a novel causal representation learning (CRL) framework tailored to multimodal and multi-measurement data, providing theoretical identifiability guarantees. Experiments on both synthetic and real-world data demonstrate the effectiveness of our approach. By unifying structured and unstructured analysis, PersonaX establishes a foundation for studying LLM-inferred behavioral traits in conjunction with visual and biographical attributes, advancing multimodal trait analysis and causal reasoning.