Wanneer Modellen Meer Weten Dan Ze Kunnen Uitleggen: Het Kwantificeren van Kennisoverdracht in Mens-AI Samenwerking

When Models Know More Than They Can Explain: Quantifying Knowledge Transfer in Human-AI Collaboration

June 5, 2025

Auteurs: Quan Shi, Carlos E. Jimenez, Shunyu Yao, Nick Haber, Diyi Yang, Karthik Narasimhan

cs.AI

Samenvatting

Recente vooruitgang in AI-redenering heeft aanzienlijke verbeteringen teweeggebracht in diverse taken. Een kritieke open vraag is of deze verbeteringen ook leiden tot betere kennisoverdracht: het vermogen van modellen om redeneringen op een manier te communiceren die mensen kunnen begrijpen, toepassen en van kunnen leren. Om dit te onderzoeken, introduceren we Knowledge Integration and Transfer Evaluation (KITE), een conceptueel en experimenteel raamwerk voor mens-AI-kennisoverdracht, en voeren we de eerste grootschalige menselijke studie (N=118) uit die expliciet is ontworpen om dit te meten. In onze tweefasenopzet werken mensen eerst samen met een AI aan het bedenken van probleemoplossende strategieën, waarna ze onafhankelijk oplossingen implementeren, waardoor de invloed van modelverklaringen op menselijk begrip wordt geïsoleerd. Onze bevindingen laten zien dat hoewel modelprestaties in benchmarks correleren met collaboratieve resultaten, deze relatie opvallend inconsistent is, met significante uitschieters, wat aangeeft dat kennisoverdracht gerichte optimalisatie vereist. Onze analyse identificeert gedrags- en strategische factoren die succesvolle kennisoverdracht bemiddelen. We maken onze code, dataset en evaluatieraamwerk beschikbaar om toekomstig werk aan communicatief afgestemde modellen te ondersteunen.

English

Recent advancements in AI reasoning have driven substantial improvements across diverse tasks. A critical open question is whether these improvements also yields better knowledge transfer: the ability of models to communicate reasoning in ways humans can understand, apply, and learn from. To investigate this, we introduce Knowledge Integration and Transfer Evaluation (KITE), a conceptual and experimental framework for Human-AI knowledge transfer capabilities and conduct the first large-scale human study (N=118) explicitly designed to measure it. In our two-phase setup, humans first ideate with an AI on problem-solving strategies, then independently implement solutions, isolating model explanations' influence on human understanding. Our findings reveal that although model benchmark performance correlates with collaborative outcomes, this relationship is notably inconsistent, featuring significant outliers, indicating that knowledge transfer requires dedicated optimization. Our analysis identifies behavioral and strategic factors mediating successful knowledge transfer. We release our code, dataset, and evaluation framework to support future work on communicatively aligned models.