IA, Prends le Volant : Quels Facteurs Influencent la Délégation et la Confiance dans le Question-Réponse Coopératif Humain-Ordinateur ?

Résumé

Les systèmes d'IA sont faillibles, et les humains peuvent commettre des erreurs en décidant de faire confiance à l'IA plutôt qu'à leur propre jugement. Ainsi, améliorer la collaboration humain-IA nécessite de comprendre quand, pourquoi et comment les humains décident de se fier à l'IA. Nous étudions deux décisions de dépendance distinctes : le choix de délégation — décider quand laisser l'IA agir de manière autonome sans connaître son résultat, et le choix d'adoption — évaluer les suggestions de l'IA et décider comment les utiliser. Ces deux schémas de dépendance découplés façonnent la collaboration, mais les travaux antérieurs les étudient rarement ensemble dans des contextes réalistes avec les mêmes utilisateurs. Nous comblons cette lacune en étudiant des équipes collaboratives humain-IA qui s'affrontent dans un jeu de questions-réponses où les humains peuvent choisir quand et comment travailler avec des agents IA pour gagner. Nos 24 matchs associent 23 experts humains à 16 agents IA, capturant 387 décisions de délégation et 1440 décisions d'adoption. Bien que la collaboration humain-IA soit plus performante que l'IA ou les humains seuls, les humains prennent des décisions de collaboration sous-optimales, à la fois en sous-dépendance vis-à-vis des suggestions correctes de l'IA (3,9 % d'opportunités manquées) et en sur-dépendance lorsque l'IA les induit en erreur (1,7 %). Les deux parties contribuent à des réponses erronées : la confiance rapportée par le modèle est proche du hasard lorsque humains et IA sont en désaccord, tandis que le biais de confirmation entraîne une sous-dépendance plus élevée (64,5 %) lorsqu'une suggestion de l'IA concorde avec la réponse initiale incorrecte des humains. Pour combler cet écart, nous recommandons une confiance calibrée, des explications fondées sur des preuves et des mécanismes qui aident les utilisateurs à affiner leur confiance.

English

AI systems are fallible, and humans can make mistakes in deciding whether to trust AI over their own judgment. Thus, improving human-AI collaboration requires understanding when, why, and how humans decide to rely on AI. We study two distinct reliance decisions: the delegation choice -- deciding when to let AI act autonomously without knowing its output, and the adoption choice -- evaluating AI suggestions and deciding how to use them. Both of these decoupled reliance patterns shape collaboration, but prior work rarely studies them together in realistic settings with the same users. We address this gap by studying collaborative human--AI teams competing in a question-answering game in which humans can choose when and how to work with AI agents to win. Our 24 matches pair 23 expert humans with 16 AI agents, capturing 387 delegation and 1440 adoption decisions. While human--AI collaboration performs better than either AI or humans alone, humans make suboptimal collaboration decisions, both under-relying on correct AI suggestions (3.9% of opportunities missed) and over-relying when AI misleads them (1.7%). Both parties contribute wrong answers: reported model confidence is near chance when humans and AI disagree, while confirmation bias drives higher under-reliance (64.5%) when an AI suggestion agrees with humans' initial incorrect answer. To close this gap, we recommend calibrated confidence, evidence-grounded explanations, and mechanisms that help users refine trust.