「私は微細な判断を下したわけではない」——協働における目標レベルのAI貢献の測定、誘発、解明

要旨

大規模言語モデル（LLM）がユーザーの目標形成、洗練、拡張の方法をますます形作る中、人間とAIの協働における貢献の帰属は、ユーザーが自身の依存度を調整し、評価者がAI支援作業を評価する上で極めて重要になりつつある。しかし、既存の手法は最終成果物に焦点を当てており、目標そのものが共同で形成されるプロセスを見落としている。我々は目標レベルの帰属フレームワークCoTraceを提案する。これは明示的な目標を検証可能な要件に分解し、対話ターン全体にわたる直接的な貢献と間接的な影響の両方を追跡する。CoTraceを638件の実世界の協働ログに適用した結果、モデルは目標形成の貢献の11～26％しか占めていないものの、より低レベルの具体的な要件の導入に大きく貢献し、さまざまな間接的な貢献を行っていることが判明した。制御されたシミュレーションを通じて、インタラクション設計の選択がモデルの目標形成行動に有意に影響を与えることを示す。ユーザー調査では、参加者に目標レベルの分析を提示することで、彼らの知覚する貢献が5段階評価で約2ポイント変動し、ユーザーが自身のAI支援作業をどのように理解しているかに体系的な較正の誤りが存在することが明らかになった。

English

As large language models (LLMs) increasingly shape how users form, refine, and extend their goals, attributing contributions in human-AI collaboration becomes critical for users calibrating their own reliance and for evaluators assessing AI-assisted work. Yet existing methods focus on final artifacts, missing the process through which goals themselves are jointly shaped. We introduce a goal-level attribution framework, CoTrace, that decomposes explicit goals into verifiable requirements and traces both direct contributions and indirect influences across dialogue turns. Applying CoTrace to 638 real-world collaboration logs, we find that while models account for only 11-26% of goal-shaping contribution, they contribute substantially more on introducing lower-level concrete requirements, and make various kinds of indirect contributions. Through controlled simulations, we show that interaction design choices significantly affect model goal-shaping behavior. In a user study, exposing participants to goal-level analyses shifts their perceived contributions by nearly 2 points on a 5-point scale, revealing systematic miscalibration in how users understand their own AI-assisted work.