PersonaX: LLM 추론 행동 특성을 포함한 멀티모달 데이터셋

초록

인간 행동 특성을 이해하는 것은 인간-컴퓨터 상호작용, 계산 사회과학, 개인화된 AI 시스템 등의 응용 분야에서 핵심적인 요소입니다. 이러한 이해는 종종 미묘한 패턴과 관계를 포착하기 위해 다중 모달리티를 통합하는 것을 요구합니다. 그러나 기존의 자료는 행동 기술자와 얼굴 속성, 전기 정보와 같은 보완적 모달리티를 결합한 데이터셋을 거의 제공하지 않습니다. 이러한 격차를 해결하기 위해, 우리는 다중 모달리티 간의 공공 특성에 대한 포괄적인 분석을 가능하게 하는 다중 모달리티 데이터셋의 정제된 컬렉션인 PersonaX를 제시합니다. PersonaX는 (1) 다양한 직업군의 9444명의 공인을 포함한 CelebPersona와 (2) 7개 주요 스포츠 리그의 4181명의 프로 운동선수를 다루는 AthlePersona로 구성됩니다. 각 데이터셋은 세 개의 고성능 대형 언어 모델에 의해 추론된 행동 특성 평가와 함께 얼굴 이미지 및 구조화된 전기적 특성을 포함합니다. 우리는 PersonaX를 두 가지 상호 보완적인 수준에서 분석합니다. 먼저, 텍스트 설명에서 고수준 특성 점수를 추상화하고 다섯 가지 통계적 독립성 검정을 적용하여 다른 모달리티와의 관계를 검토합니다. 둘째, 다중 모달리티 및 다중 측정 데이터에 맞춰진 새로운 인과 표현 학습(CRL) 프레임워크를 소개하며, 이론적 식별 가능성을 보장합니다. 합성 데이터와 실제 데이터에 대한 실험은 우리의 접근법의 효과를 입증합니다. 구조화된 분석과 비구조화된 분석을 통합함으로써, PersonaX는 시각적 및 전기적 속성과 함께 LLM 추론 행동 특성을 연구하기 위한 기반을 마련하며, 다중 모달리티 특성 분석과 인과적 추론을 발전시킵니다.

English

Understanding human behavior traits is central to applications in human-computer interaction, computational social science, and personalized AI systems. Such understanding often requires integrating multiple modalities to capture nuanced patterns and relationships. However, existing resources rarely provide datasets that combine behavioral descriptors with complementary modalities such as facial attributes and biographical information. To address this gap, we present PersonaX, a curated collection of multimodal datasets designed to enable comprehensive analysis of public traits across modalities. PersonaX consists of (1) CelebPersona, featuring 9444 public figures from diverse occupations, and (2) AthlePersona, covering 4181 professional athletes across 7 major sports leagues. Each dataset includes behavioral trait assessments inferred by three high-performing large language models, alongside facial imagery and structured biographical features. We analyze PersonaX at two complementary levels. First, we abstract high-level trait scores from text descriptions and apply five statistical independence tests to examine their relationships with other modalities. Second, we introduce a novel causal representation learning (CRL) framework tailored to multimodal and multi-measurement data, providing theoretical identifiability guarantees. Experiments on both synthetic and real-world data demonstrate the effectiveness of our approach. By unifying structured and unstructured analysis, PersonaX establishes a foundation for studying LLM-inferred behavioral traits in conjunction with visual and biographical attributes, advancing multimodal trait analysis and causal reasoning.

PersonaX: LLM 추론 행동 특성을 포함한 멀티모달 데이터셋

PersonaX: Multimodal Datasets with LLM-Inferred Behavior Traits

초록

Support