Denken grote geesten hetzelfde? Onderzoek naar menselijke-AI complementariteit in Vraagbeantwoording met CAIMIRA

Do great minds think alike? Investigating Human-AI Complementarity in Question Answering with CAIMIRA

October 9, 2024

Auteurs: Maharshi Gor, Hal Daumé III, Tianyi Zhou, Jordan Boyd-Graber

cs.AI

Samenvatting

Recente ontwikkelingen van grote taalmodellen (LLM's) hebben geleid tot beweringen dat AI mensen overtreft in natuurlijke taalverwerkingstaken zoals tekstbegrip en redeneren. Dit werk onderzoekt deze beweringen door CAIMIRA te introduceren, een nieuw raamwerk geworteld in itemresponsentheorie (IRT) dat kwantitatieve beoordeling en vergelijking van probleemoplossend vermogen van vraag-antwoord (QA) agenten mogelijk maakt: mensen en AI-systemen. Door analyse van meer dan 300.000 antwoorden van ~70 AI-systemen en 155 mensen op duizenden quizvragen, onthult CAIMIRA verschillende bekwaamheidspatronen in kennisdomeinen en redeneervaardigheden. Mensen presteren beter dan AI-systemen in kennisgebaseerd abductief en conceptueel redeneren, terwijl geavanceerde LLM's zoals GPT-4 en LLaMA superieure prestaties laten zien bij gerichte informatiewinning en op feiten gebaseerd redeneren, vooral wanneer informatie lacunes goed gedefinieerd zijn en kunnen worden aangepakt door patroonherkenning of gegevensopvraging. Deze bevindingen benadrukken de noodzaak voor toekomstige QA-taken om zich te richten op vragen die niet alleen hogere-orde redeneren en wetenschappelijk denken uitdagen, maar ook vragen om genuanceerde taalkundige interpretatie en kennis toepassing in verschillende contexten, om AI-ontwikkelingen vooruit te helpen die menselijke cognitieve vermogens in real-world probleemoplossing beter nabootsen of aanvullen.

English

Recent advancements of large language models (LLMs) have led to claims of AI surpassing humans in natural language processing (NLP) tasks such as textual understanding and reasoning. This work investigates these assertions by introducing CAIMIRA, a novel framework rooted in item response theory (IRT) that enables quantitative assessment and comparison of problem-solving abilities of question-answering (QA) agents: humans and AI systems. Through analysis of over 300,000 responses from ~70 AI systems and 155 humans across thousands of quiz questions, CAIMIRA uncovers distinct proficiency patterns in knowledge domains and reasoning skills. Humans outperform AI systems in knowledge-grounded abductive and conceptual reasoning, while state-of-the-art LLMs like GPT-4 and LLaMA show superior performance on targeted information retrieval and fact-based reasoning, particularly when information gaps are well-defined and addressable through pattern matching or data retrieval. These findings highlight the need for future QA tasks to focus on questions that challenge not only higher-order reasoning and scientific thinking, but also demand nuanced linguistic interpretation and cross-contextual knowledge application, helping advance AI developments that better emulate or complement human cognitive abilities in real-world problem-solving.