IA, assuma o volante: O que impulsiona a delegação e a confiança na resposta cooperativa a perguntas entre humanos e computadores?

Resumo

Os sistemas de IA são falíveis, e os humanos podem cometer erros ao decidir se devem confiar na IA em detrimento do seu próprio julgamento. Assim, melhorar a colaboração humano-IA requer compreender quando, porquê e como os humanos decidem confiar na IA. Estudamos duas decisões de confiança distintas: a escolha de delegação — decidir quando deixar a IA agir autonomamente sem conhecer o seu resultado, e a escolha de adoção — avaliar as sugestões da IA e decidir como utilizá-las. Ambos os padrões de confiança dissociados moldam a colaboração, mas trabalhos anteriores raramente os estudam em conjunto em cenários realistas com os mesmos utilizadores. Abordamos esta lacuna estudando equipas colaborativas humano-IA que competem num jogo de perguntas e respostas, no qual os humanos podem escolher quando e como trabalhar com agentes de IA para vencer. Os nossos 24 jogos emparelham 23 especialistas humanos com 16 agentes de IA, capturando 387 decisões de delegação e 1440 de adoção. Embora a colaboração humano-IA tenha um desempenho superior ao da IA ou dos humanos isoladamente, os humanos tomam decisões de colaboração subótimas, tanto subconfiando em sugestões corretas da IA (3,9% de oportunidades perdidas) como superconfiando quando a IA os induz em erro (1,7%). Ambas as partes contribuem com respostas erradas: a confiança reportada do modelo aproxima-se do acaso quando humanos e IA discordam, enquanto o viés de confirmação impulsiona uma maior subconfiança (64,5%) quando uma sugestão da IA coincide com a resposta inicial incorreta do humano. Para superar esta lacuna, recomendamos confiança calibrada, explicações baseadas em evidências e mecanismos que ajudem os utilizadores a refinar a confiança.

English

AI systems are fallible, and humans can make mistakes in deciding whether to trust AI over their own judgment. Thus, improving human-AI collaboration requires understanding when, why, and how humans decide to rely on AI. We study two distinct reliance decisions: the delegation choice -- deciding when to let AI act autonomously without knowing its output, and the adoption choice -- evaluating AI suggestions and deciding how to use them. Both of these decoupled reliance patterns shape collaboration, but prior work rarely studies them together in realistic settings with the same users. We address this gap by studying collaborative human--AI teams competing in a question-answering game in which humans can choose when and how to work with AI agents to win. Our 24 matches pair 23 expert humans with 16 AI agents, capturing 387 delegation and 1440 adoption decisions. While human--AI collaboration performs better than either AI or humans alone, humans make suboptimal collaboration decisions, both under-relying on correct AI suggestions (3.9% of opportunities missed) and over-relying when AI misleads them (1.7%). Both parties contribute wrong answers: reported model confidence is near chance when humans and AI disagree, while confirmation bias drives higher under-reliance (64.5%) when an AI suggestion agrees with humans' initial incorrect answer. To close this gap, we recommend calibrated confidence, evidence-grounded explanations, and mechanisms that help users refine trust.