Quando i Modelli Sanno Più di Quanto Possano Spiegare: Quantificare il Trasferimento di Conoscenza nella Collaborazione Uomo-IA

When Models Know More Than They Can Explain: Quantifying Knowledge Transfer in Human-AI Collaboration

June 5, 2025

Autori: Quan Shi, Carlos E. Jimenez, Shunyu Yao, Nick Haber, Diyi Yang, Karthik Narasimhan

cs.AI

Abstract

I recenti progressi nel ragionamento AI hanno portato a sostanziali miglioramenti in una vasta gamma di compiti. Una questione aperta cruciale è se questi miglioramenti comportino anche un migliore trasferimento di conoscenza: la capacità dei modelli di comunicare il ragionamento in modi che gli esseri umani possano comprendere, applicare e apprendere. Per indagare ciò, introduciamo Knowledge Integration and Transfer Evaluation (KITE), un framework concettuale e sperimentale per le capacità di trasferimento di conoscenza tra Umani e AI, e conduciamo il primo studio su larga scala (N=118) esplicitamente progettato per misurarlo. Nel nostro setup a due fasi, gli esseri umani prima collaborano con un'AI per ideare strategie di risoluzione dei problemi, poi implementano soluzioni in modo indipendente, isolando l'influenza delle spiegazioni del modello sulla comprensione umana. I nostri risultati rivelano che, sebbene le prestazioni dei modelli nei benchmark siano correlate con gli esiti collaborativi, questa relazione è notevolmente incoerente, presentando significativi outlier, indicando che il trasferimento di conoscenza richiede un'ottimizzazione dedicata. La nostra analisi identifica fattori comportamentali e strategici che mediano il successo del trasferimento di conoscenza. Rilasciamo il nostro codice, dataset e framework di valutazione per supportare futuri lavori su modelli allineati comunicativamente.

English

Recent advancements in AI reasoning have driven substantial improvements across diverse tasks. A critical open question is whether these improvements also yields better knowledge transfer: the ability of models to communicate reasoning in ways humans can understand, apply, and learn from. To investigate this, we introduce Knowledge Integration and Transfer Evaluation (KITE), a conceptual and experimental framework for Human-AI knowledge transfer capabilities and conduct the first large-scale human study (N=118) explicitly designed to measure it. In our two-phase setup, humans first ideate with an AI on problem-solving strategies, then independently implement solutions, isolating model explanations' influence on human understanding. Our findings reveal that although model benchmark performance correlates with collaborative outcomes, this relationship is notably inconsistent, featuring significant outliers, indicating that knowledge transfer requires dedicated optimization. Our analysis identifies behavioral and strategic factors mediating successful knowledge transfer. We release our code, dataset, and evaluation framework to support future work on communicatively aligned models.