AIよ、ハンドルを握れ：人間とコンピュータの協調的質問応答における委任と信頼を駆動するものは何か？

要旨

AIシステムは誤りを犯す可能性があり、人間も自身の判断よりもAIを信頼するかどうかの判断において誤りを犯す可能性がある。したがって、人間とAIの協調を改善するには、人間がいつ、なぜ、どのようにAIに依存するかを理解する必要がある。我々は二つの異なる依存判断を研究する。すなわち、委任選択（AIの出力を知らずにAIに自律的に行動させるタイミングを決定すること）と採用選択（AIの提案を評価し、その活用方法を決定すること）である。これらの切り離された依存パターンは両方とも協調を形成するが、先行研究では現実的な環境で同一ユーザーを対象にこれらを一緒に研究することはほとんどなかった。我々はこのギャップに対処するため、人間がいつどのようにAIエージェントと協力して勝利するかを選択できる質問応答ゲームで競う、人間とAIの協調チームを研究する。我々の24試合では、23人の専門家と16のAIエージェントをペアリングし、387件の委任判断と1440件の採用判断を収集した。人間とAIの協調はAI単独または人間単独よりも優れた性能を示す一方で、人間は最適ではない協調判断を下し、正しいAI提案への過小依存（機会の3.9％を逃す）と、AIが誤った情報を与えた場合の過剰依存（1.7％）の両方が見られる。両者とも誤答に寄与している。人間とAIが不一致の場合、報告されたモデルの信頼度は偶然レベルに近く、一方、AIの提案が人間の初期の誤答と一致する場合、確証バイアスにより過小依存が高まる（64.5％）。このギャップを埋めるために、我々は校正された信頼度、証拠に基づく説明、およびユーザーが信頼を洗練するのに役立つメカニズムを推奨する。

English

AI systems are fallible, and humans can make mistakes in deciding whether to trust AI over their own judgment. Thus, improving human-AI collaboration requires understanding when, why, and how humans decide to rely on AI. We study two distinct reliance decisions: the delegation choice -- deciding when to let AI act autonomously without knowing its output, and the adoption choice -- evaluating AI suggestions and deciding how to use them. Both of these decoupled reliance patterns shape collaboration, but prior work rarely studies them together in realistic settings with the same users. We address this gap by studying collaborative human--AI teams competing in a question-answering game in which humans can choose when and how to work with AI agents to win. Our 24 matches pair 23 expert humans with 16 AI agents, capturing 387 delegation and 1440 adoption decisions. While human--AI collaboration performs better than either AI or humans alone, humans make suboptimal collaboration decisions, both under-relying on correct AI suggestions (3.9% of opportunities missed) and over-relying when AI misleads them (1.7%). Both parties contribute wrong answers: reported model confidence is near chance when humans and AI disagree, while confirmation bias drives higher under-reliance (64.5%) when an AI suggestion agrees with humans' initial incorrect answer. To close this gap, we recommend calibrated confidence, evidence-grounded explanations, and mechanisms that help users refine trust.