AI, 운전대를 맡겨라: 인간-컴퓨터 협력 질의응답에서 위임과 신뢰를 결정하는 요인은 무엇인가?

초록

AI 시스템은 오류가 있으며, 인간은 자신의 판단보다 AI를 신뢰할지 결정하는 데 실수를 할 수 있습니다. 따라서 인간-AI 협업을 개선하려면 인간이 AI에 의존하기로 결정하는 시기, 이유 및 방식을 이해해야 합니다. 우리는 두 가지 서로 다른 의존 결정을 연구합니다: 위임 선택(출력을 알지 못한 상태에서 AI가 자율적으로 행동하도록 허용할 시기를 결정)과 수용 선택(AI 제안을 평가하고 이를 어떻게 활용할지 결정)입니다. 이 두 가지 분리된 의존 패턴은 협업을 형성하지만, 기존 연구에서는 동일한 사용자를 대상으로 현실적인 환경에서 이들을 함께 연구하는 경우가 드뭅니다. 우리는 인간이 AI 에이전트와 언제, 어떻게 협력하여 승리할지 선택할 수 있는 질문 응답 게임에서 경쟁하는 인간-AI 협업 팀을 연구함으로써 이러한 격차를 해소합니다. 우리의 24개 매치는 23명의 전문가와 16개의 AI 에이전트를 짝지어 387개의 위임 결정과 1440개의 수용 결정을 포착했습니다. 인간-AI 협업은 AI 단독 또는 인간 단독보다 더 나은 성과를 보이지만, 인간은 최적이 아닌 협업 결정을 내리는데, 이는 올바른 AI 제안에 대한 과소 의존(기회의 3.9%를 놓침)과 AI가 오도할 때의 과잉 의존(1.7%)을 포함합니다. 양측 모두 잘못된 답변에 기여합니다: 인간과 AI가 의견이 다를 때 보고된 모델 신뢰도는 우연 수준에 가깝지만, AI 제안이 인간의 초기 오답과 일치할 때 확인 편향이 더 높은 과소 의존(64.5%)을 유발합니다. 이러한 격차를 해소하기 위해 우리는 보정된 신뢰도, 증거 기반 설명, 사용자가 신뢰를 개선하는 데 도움이 되는 메커니즘을 권장합니다.

English

AI systems are fallible, and humans can make mistakes in deciding whether to trust AI over their own judgment. Thus, improving human-AI collaboration requires understanding when, why, and how humans decide to rely on AI. We study two distinct reliance decisions: the delegation choice -- deciding when to let AI act autonomously without knowing its output, and the adoption choice -- evaluating AI suggestions and deciding how to use them. Both of these decoupled reliance patterns shape collaboration, but prior work rarely studies them together in realistic settings with the same users. We address this gap by studying collaborative human--AI teams competing in a question-answering game in which humans can choose when and how to work with AI agents to win. Our 24 matches pair 23 expert humans with 16 AI agents, capturing 387 delegation and 1440 adoption decisions. While human--AI collaboration performs better than either AI or humans alone, humans make suboptimal collaboration decisions, both under-relying on correct AI suggestions (3.9% of opportunities missed) and over-relying when AI misleads them (1.7%). Both parties contribute wrong answers: reported model confidence is near chance when humans and AI disagree, while confirmation bias drives higher under-reliance (64.5%) when an AI suggestion agrees with humans' initial incorrect answer. To close this gap, we recommend calibrated confidence, evidence-grounded explanations, and mechanisms that help users refine trust.