PersonaX: LLM推論による行動特性を備えたマルチモーダルデータセット

要旨

人間の行動特性を理解することは、人間とコンピュータの相互作用、計算社会科学、パーソナライズドAIシステムにおける応用において中心的な課題です。このような理解には、微妙なパターンや関係性を捉えるために複数のモダリティを統合することがしばしば必要となります。しかし、既存のリソースでは、行動記述子と顔の属性や経歴情報などの補完的なモダリティを組み合わせたデータセットを提供することは稀です。このギャップを埋めるため、我々はPersonaXを提案します。これは、モダリティを横断した公的な特性の包括的な分析を可能にするために設計された、マルチモーダルデータセットのキュレーションされたコレクションです。PersonaXは、(1)多様な職業から9444人の有名人を特徴とするCelebPersonaと、(2)7つの主要なスポーツリーグにわたる4181人のプロアスリートをカバーするAthlePersonaで構成されています。各データセットには、3つの高性能な大規模言語モデルによって推論された行動特性評価、顔画像、および構造化された経歴特徴が含まれています。我々はPersonaXを2つの補完的なレベルで分析します。まず、テキスト記述から高レベルの特性スコアを抽象化し、他のモダリティとの関係を調べるために5つの統計的独立性検定を適用します。次に、マルチモーダルおよび複数測定データに特化した新しい因果表現学習（CRL）フレームワークを導入し、理論的な識別可能性を保証します。合成データと実世界のデータの両方での実験により、我々のアプローチの有効性が実証されています。構造化された分析と非構造化された分析を統合することにより、PersonaXは、視覚的および経歴的属性と組み合わせたLLM推論行動特性の研究の基盤を確立し、マルチモーダル特性分析と因果推論を前進させます。

English

Understanding human behavior traits is central to applications in human-computer interaction, computational social science, and personalized AI systems. Such understanding often requires integrating multiple modalities to capture nuanced patterns and relationships. However, existing resources rarely provide datasets that combine behavioral descriptors with complementary modalities such as facial attributes and biographical information. To address this gap, we present PersonaX, a curated collection of multimodal datasets designed to enable comprehensive analysis of public traits across modalities. PersonaX consists of (1) CelebPersona, featuring 9444 public figures from diverse occupations, and (2) AthlePersona, covering 4181 professional athletes across 7 major sports leagues. Each dataset includes behavioral trait assessments inferred by three high-performing large language models, alongside facial imagery and structured biographical features. We analyze PersonaX at two complementary levels. First, we abstract high-level trait scores from text descriptions and apply five statistical independence tests to examine their relationships with other modalities. Second, we introduce a novel causal representation learning (CRL) framework tailored to multimodal and multi-measurement data, providing theoretical identifiability guarantees. Experiments on both synthetic and real-world data demonstrate the effectiveness of our approach. By unifying structured and unstructured analysis, PersonaX establishes a foundation for studying LLM-inferred behavioral traits in conjunction with visual and biographical attributes, advancing multimodal trait analysis and causal reasoning.

PersonaX: LLM推論による行動特性を備えたマルチモーダルデータセット

PersonaX: Multimodal Datasets with LLM-Inferred Behavior Traits

要旨

Support