Denken kluge Köpfe ähnlich? Untersuchung der menschlichen KI-Ergänzung beim Frage-Antworten mit CAIMIRA

Do great minds think alike? Investigating Human-AI Complementarity in Question Answering with CAIMIRA

October 9, 2024

Autoren: Maharshi Gor, Hal Daumé III, Tianyi Zhou, Jordan Boyd-Graber

cs.AI

Zusammenfassung

Die jüngsten Fortschritte großer Sprachmodelle (LLMs) haben zu Behauptungen geführt, dass KI den Menschen in natürlicher Sprachverarbeitung (NLP) bei Aufgaben wie Textverständnis und Schlussfolgerungen übertrifft. Diese Arbeit untersucht diese Aussagen, indem sie CAIMIRA vorstellt, ein neuartiges Framework, das auf der Item-Response-Theorie (IRT) basiert und eine quantitative Bewertung und Vergleich der Problemlösungsfähigkeiten von Frage-Antwort-Agenten ermöglicht: Menschen und KI-Systeme. Durch die Analyse von über 300.000 Antworten von etwa 70 KI-Systemen und 155 Menschen auf Tausende von Quizfragen deckt CAIMIRA unterschiedliche Kompetenzmuster in Wissensbereichen und Schlussfolgerungsfähigkeiten auf. Menschen übertreffen KI-Systeme in wissensbasierten abduktiven und konzeptuellen Schlussfolgerungen, während modernste LLMs wie GPT-4 und LLaMA eine überlegene Leistung bei gezielter Informationsabfrage und faktenbasierten Schlussfolgerungen zeigen, insbesondere wenn Informationslücken gut definiert und durch Musterabgleich oder Datenabruf lösbar sind. Diese Ergebnisse unterstreichen die Notwendigkeit, dass zukünftige QA-Aufgaben sich auf Fragen konzentrieren, die nicht nur höhere Schlussfolgerungen und wissenschaftliches Denken herausfordern, sondern auch eine nuancierte sprachliche Interpretation und den Einsatz von Wissen in verschiedenen Kontexten erfordern, um die KI-Entwicklungen voranzutreiben, die menschliche kognitive Fähigkeiten in der realen Problemlösung besser nachahmen oder ergänzen.

English

Recent advancements of large language models (LLMs) have led to claims of AI surpassing humans in natural language processing (NLP) tasks such as textual understanding and reasoning. This work investigates these assertions by introducing CAIMIRA, a novel framework rooted in item response theory (IRT) that enables quantitative assessment and comparison of problem-solving abilities of question-answering (QA) agents: humans and AI systems. Through analysis of over 300,000 responses from ~70 AI systems and 155 humans across thousands of quiz questions, CAIMIRA uncovers distinct proficiency patterns in knowledge domains and reasoning skills. Humans outperform AI systems in knowledge-grounded abductive and conceptual reasoning, while state-of-the-art LLMs like GPT-4 and LLaMA show superior performance on targeted information retrieval and fact-based reasoning, particularly when information gaps are well-defined and addressable through pattern matching or data retrieval. These findings highlight the need for future QA tasks to focus on questions that challenge not only higher-order reasoning and scientific thinking, but also demand nuanced linguistic interpretation and cross-contextual knowledge application, helping advance AI developments that better emulate or complement human cognitive abilities in real-world problem-solving.