ИИ, возьми управление: что движет делегированием и доверием в совместном человеко-компьютерном ответе на вопросы?

Аннотация

Системы ИИ подвержены ошибкам, и люди могут ошибаться, решая, стоит ли доверять ИИ больше, чем собственному суждению. Таким образом, улучшение взаимодействия человека и ИИ требует понимания того, когда, почему и как люди принимают решение полагаться на ИИ. Мы изучаем два различных типа решений о доверии: выбор делегирования — решение о том, когда позволить ИИ действовать автономно, не зная его результата, и выбор принятия — оценка предложений ИИ и решение о том, как их использовать. Оба этих разобщённых паттерна доверия формируют сотрудничество, однако в предыдущих работах они редко изучались совместно в реалистичных условиях с одними и теми же пользователями. Мы восполняем этот пробел, исследуя совместные команды человека и ИИ, соревнующиеся в игре "вопрос-ответ", где люди могут выбирать, когда и как работать с агентами ИИ для победы. В наших 24 матчах участвуют 23 эксперта-человека и 16 агентов ИИ, что позволяет зафиксировать 387 решений о делегировании и 1440 решений о принятии. Хотя совместная работа человека и ИИ показывает лучшие результаты, чем работа только человека или только ИИ, люди принимают неоптимальные решения о сотрудничестве: как недостаточно доверяя правильным подсказкам ИИ (упущено 3,9% возможностей), так и чрезмерно доверяя, когда ИИ вводит их в заблуждение (1,7%). Обе стороны вносят ошибочные ответы: сообщаемая уверенность модели близка к случайной, когда человек и ИИ расходятся во мнениях, тогда как предвзятость подтверждения приводит к более высокому уровню недостаточного доверия (64,5%), когда предложение ИИ совпадает с первоначальным неверным ответом человека. Чтобы устранить этот разрыв, мы рекомендуем калиброванную уверенность, объяснения, основанные на доказательствах, и механизмы, помогающие пользователям уточнять доверие.

English

AI systems are fallible, and humans can make mistakes in deciding whether to trust AI over their own judgment. Thus, improving human-AI collaboration requires understanding when, why, and how humans decide to rely on AI. We study two distinct reliance decisions: the delegation choice -- deciding when to let AI act autonomously without knowing its output, and the adoption choice -- evaluating AI suggestions and deciding how to use them. Both of these decoupled reliance patterns shape collaboration, but prior work rarely studies them together in realistic settings with the same users. We address this gap by studying collaborative human--AI teams competing in a question-answering game in which humans can choose when and how to work with AI agents to win. Our 24 matches pair 23 expert humans with 16 AI agents, capturing 387 delegation and 1440 adoption decisions. While human--AI collaboration performs better than either AI or humans alone, humans make suboptimal collaboration decisions, both under-relying on correct AI suggestions (3.9% of opportunities missed) and over-relying when AI misleads them (1.7%). Both parties contribute wrong answers: reported model confidence is near chance when humans and AI disagree, while confirmation bias drives higher under-reliance (64.5%) when an AI suggestion agrees with humans' initial incorrect answer. To close this gap, we recommend calibrated confidence, evidence-grounded explanations, and mechanisms that help users refine trust.