Les grands esprits pensent-ils de la même manière ? Enquête sur la complémentarité entre l'homme et l'IA dans la réponse aux questions avec CAIMIRA.

Do great minds think alike? Investigating Human-AI Complementarity in Question Answering with CAIMIRA

October 9, 2024

Auteurs: Maharshi Gor, Hal Daumé III, Tianyi Zhou, Jordan Boyd-Graber

cs.AI

Résumé

Les récents progrès des grands modèles de langage (LLM) ont conduit à des affirmations selon lesquelles l'IA surpasserait les humains dans les tâches de traitement du langage naturel (NLP) telles que la compréhension textuelle et le raisonnement. Ce travail examine ces assertions en introduisant CAIMIRA, un nouveau cadre enraciné dans la théorie de la réponse à l'item (IRT) qui permet une évaluation quantitative et une comparaison des capacités de résolution de problèmes des agents de question-réponse (QA) : humains et systèmes d'IA. À travers l'analyse de plus de 300 000 réponses provenant d'environ 70 systèmes d'IA et 155 humains sur des milliers de questions de quiz, CAIMIRA met en lumière des modèles de compétence distincts dans les domaines de connaissance et les compétences de raisonnement. Les humains surpassent les systèmes d'IA dans le raisonnement abductif et conceptuel ancré dans la connaissance, tandis que les LLM de pointe tels que GPT-4 et LLaMA montrent des performances supérieures dans la recherche d'informations ciblées et le raisonnement basé sur les faits, notamment lorsque les lacunes d'information sont bien définies et peuvent être traitées par des correspondances de motifs ou des récupérations de données. Ces résultats soulignent la nécessité pour les futures tâches de QA de se concentrer sur des questions qui mettent au défi non seulement le raisonnement de haut niveau et la pensée scientifique, mais qui exigent également une interprétation linguistique nuancée et une application de connaissances inter-contextuelles, contribuant à faire progresser les développements en IA qui émulent ou complètent mieux les capacités cognitives humaines dans la résolution de problèmes du monde réel.

English

Recent advancements of large language models (LLMs) have led to claims of AI surpassing humans in natural language processing (NLP) tasks such as textual understanding and reasoning. This work investigates these assertions by introducing CAIMIRA, a novel framework rooted in item response theory (IRT) that enables quantitative assessment and comparison of problem-solving abilities of question-answering (QA) agents: humans and AI systems. Through analysis of over 300,000 responses from ~70 AI systems and 155 humans across thousands of quiz questions, CAIMIRA uncovers distinct proficiency patterns in knowledge domains and reasoning skills. Humans outperform AI systems in knowledge-grounded abductive and conceptual reasoning, while state-of-the-art LLMs like GPT-4 and LLaMA show superior performance on targeted information retrieval and fact-based reasoning, particularly when information gaps are well-defined and addressable through pattern matching or data retrieval. These findings highlight the need for future QA tasks to focus on questions that challenge not only higher-order reasoning and scientific thinking, but also demand nuanced linguistic interpretation and cross-contextual knowledge application, helping advance AI developments that better emulate or complement human cognitive abilities in real-world problem-solving.