ThoughtTrace: 실제 LLM 상호작용에서의 사용자 생각 이해

초록

대화형 AI는 현재 수십억 명의 사용자에게 도달했지만, 기존 데이터셋은 사용자가 말하는 내용만 포착할 뿐 생각하는 내용은 담지 못한다. 본 연구에서는 실제 세계의 다중 턴 인간-AI 대화와 사용자가 스스로 보고한 생각(즉, 프롬프트를 전송한 이유와 어시스턴트 응답에 대한 반응)을 결합한 최초의 대규모 데이터셋인 ThoughtTrace를 소개한다. ThoughtTrace는 20개 언어 모델에 걸쳐 수집된 1,058명의 사용자, 2,155개의 대화, 17,058개의 턴, 10,174개의 생각 주석으로 구성된다. 분석 결과, ThoughtTrace는 장기적이고 주제적으로 다양한 상호작용을 포착하며, 생각은 메시지와 의미적으로 구별되고, 최첨단 LLM이 맥락만으로 추론하기 어려우며, 내용이 다양하고, 대화 단계와 밀접하게 연관되어 있음을 보여준다. 또한, 생각이 다운스트림 모델링에 유용함을 입증한다. 첫째, 생각은 추론 시 맥락으로 제공될 때 사용자 행동 예측을 개선한다. 둘째, 생각에 기반한 재작성은 개인화된 어시스턴트 훈련을 위한 세분화된 정렬 신호를 제공한다. 이로써 ThoughtTrace는 인간-AI 상호작용 뒤에 숨은 인지 역학을 연구하기 위한 새로운 데이터 양식으로서 사용자 생각을 정립하고, 사용자의 잠재적 목표, 선호도, 필요를 더 잘 이해하고 적응하는 어시스턴트를 구축하기 위한 기반을 제공한다.

English

Conversational AI has now reached billions of users, yet existing datasets capture only what people say, not what they think. We introduce ThoughtTrace, the first large-scale dataset that pairs real-world multi-turn human--AI conversations with users' self-reported thoughts: their reasons for sending prompts and reactions to assistant responses. ThoughtTrace comprises 1,058 users, 2,155 conversations, 17,058 turns, and 10,174 thought annotations collected across 20 language models. Our analysis shows that ThoughtTrace captures long-horizon, topically diverse interactions, and that thoughts are semantically distinct from messages, difficult for frontier LLMs to infer from context, diverse in content, and tied to conversation stages. We further demonstrate the utility of thoughts for downstream modeling. First, thoughts improve user-behavior prediction as inference-time context. Second, thought-guided rewrites provide fine-grained alignment signals for training personalized assistants. Together, ThoughtTrace establishes user thoughts as a new data modality for studying the cognitive dynamics behind human--AI interaction and provides a foundation for building assistants that better understand and adapt to users' latent goals, preferences, and needs.