PersonaX: Multimodale Datensätze mit KI-inferierten Verhaltensmerkmalen

papers.abstract

Das Verständnis menschlicher Verhaltensmerkmale ist zentral für Anwendungen in der Mensch-Computer-Interaktion, der computergestützten Sozialwissenschaft und personalisierten KI-Systemen. Ein solches Verständnis erfordert oft die Integration mehrerer Modalitäten, um differenzierte Muster und Zusammenhänge zu erfassen. Bestehende Ressourcen bieten jedoch selten Datensätze, die Verhaltensbeschreibungen mit ergänzenden Modalitäten wie Gesichtsattributen und biografischen Informationen kombinieren. Um diese Lücke zu schließen, präsentieren wir PersonaX, eine kuratierte Sammlung multimodaler Datensätze, die eine umfassende Analyse öffentlicher Merkmale über verschiedene Modalitäten hinweg ermöglichen soll. PersonaX besteht aus (1) CelebPersona, das 9444 öffentliche Persönlichkeiten aus verschiedenen Berufen umfasst, und (2) AthlePersona, das 4181 professionelle Sportler aus sieben großen Sportligen abdeckt. Jeder Datensatz enthält Verhaltensmerkmalsbewertungen, die von drei leistungsstarken großen Sprachmodellen abgeleitet wurden, sowie Gesichtsbilder und strukturierte biografische Merkmale. Wir analysieren PersonaX auf zwei komplementären Ebenen. Zunächst abstrahieren wir hochrangige Merkmalswerte aus Textbeschreibungen und wenden fünf statistische Unabhängigkeitstests an, um ihre Beziehungen zu anderen Modalitäten zu untersuchen. Zweitens führen wir ein neuartiges Framework für kausales Repräsentationslernen (Causal Representation Learning, CRL) ein, das auf multimodale und multimessbare Daten zugeschnitten ist und theoretische Identifizierbarkeitsgarantien bietet. Experimente mit synthetischen und realen Daten demonstrieren die Effektivität unseres Ansatzes. Durch die Vereinheitlichung strukturierter und unstrukturierter Analysen legt PersonaX die Grundlage für die Untersuchung von durch Sprachmodelle abgeleiteten Verhaltensmerkmalen in Verbindung mit visuellen und biografischen Attributen und fördert so die multimodale Merkmalsanalyse und das kausale Schließen.

English

Understanding human behavior traits is central to applications in human-computer interaction, computational social science, and personalized AI systems. Such understanding often requires integrating multiple modalities to capture nuanced patterns and relationships. However, existing resources rarely provide datasets that combine behavioral descriptors with complementary modalities such as facial attributes and biographical information. To address this gap, we present PersonaX, a curated collection of multimodal datasets designed to enable comprehensive analysis of public traits across modalities. PersonaX consists of (1) CelebPersona, featuring 9444 public figures from diverse occupations, and (2) AthlePersona, covering 4181 professional athletes across 7 major sports leagues. Each dataset includes behavioral trait assessments inferred by three high-performing large language models, alongside facial imagery and structured biographical features. We analyze PersonaX at two complementary levels. First, we abstract high-level trait scores from text descriptions and apply five statistical independence tests to examine their relationships with other modalities. Second, we introduce a novel causal representation learning (CRL) framework tailored to multimodal and multi-measurement data, providing theoretical identifiability guarantees. Experiments on both synthetic and real-world data demonstrate the effectiveness of our approach. By unifying structured and unstructured analysis, PersonaX establishes a foundation for studying LLM-inferred behavioral traits in conjunction with visual and biographical attributes, advancing multimodal trait analysis and causal reasoning.

PersonaX: Multimodale Datensätze mit KI-inferierten Verhaltensmerkmalen

PersonaX: Multimodal Datasets with LLM-Inferred Behavior Traits

papers.abstract

Support