Wenn Modelle mehr wissen, als sie erklären können: Quantifizierung des Wissenstransfers in der Mensch-KI-Kollaboration

When Models Know More Than They Can Explain: Quantifying Knowledge Transfer in Human-AI Collaboration

June 5, 2025

Autoren: Quan Shi, Carlos E. Jimenez, Shunyu Yao, Nick Haber, Diyi Yang, Karthik Narasimhan

cs.AI

Zusammenfassung

Jüngste Fortschritte im Bereich der KI-basierten Argumentation haben erhebliche Verbesserungen bei verschiedenen Aufgaben bewirkt. Eine entscheidende offene Frage ist, ob diese Verbesserungen auch zu einem besseren Wissenstransfer führen: der Fähigkeit von Modellen, Argumentationen so zu kommunizieren, dass Menschen sie verstehen, anwenden und daraus lernen können. Um dies zu untersuchen, führen wir Knowledge Integration and Transfer Evaluation (KITE) ein, ein konzeptionelles und experimentelles Rahmenwerk für die Fähigkeiten des Mensch-KI-Wissenstransfers, und führen die erste groß angelegte Humanstudie (N=118) durch, die explizit darauf ausgelegt ist, diesen zu messen. In unserem zweiphasigen Aufbau entwickeln Menschen zunächst gemeinsam mit einer KI Strategien zur Problemlösung, setzen dann unabhängig Lösungen um und isolieren so den Einfluss von Modellerklärungen auf das menschliche Verständnis. Unsere Ergebnisse zeigen, dass zwar die Benchmark-Leistung des Modells mit den kollaborativen Ergebnissen korreliert, diese Beziehung jedoch bemerkenswert inkonsistent ist und signifikante Ausreißer aufweist, was darauf hindeutet, dass der Wissenstransfer eine gezielte Optimierung erfordert. Unsere Analyse identifiziert verhaltensbezogene und strategische Faktoren, die einen erfolgreichen Wissenstransfer vermitteln. Wir veröffentlichen unseren Code, unseren Datensatz und unser Bewertungsrahmenwerk, um zukünftige Arbeiten an kommunikativ ausgerichteten Modellen zu unterstützen.

English

Recent advancements in AI reasoning have driven substantial improvements across diverse tasks. A critical open question is whether these improvements also yields better knowledge transfer: the ability of models to communicate reasoning in ways humans can understand, apply, and learn from. To investigate this, we introduce Knowledge Integration and Transfer Evaluation (KITE), a conceptual and experimental framework for Human-AI knowledge transfer capabilities and conduct the first large-scale human study (N=118) explicitly designed to measure it. In our two-phase setup, humans first ideate with an AI on problem-solving strategies, then independently implement solutions, isolating model explanations' influence on human understanding. Our findings reveal that although model benchmark performance correlates with collaborative outcomes, this relationship is notably inconsistent, featuring significant outliers, indicating that knowledge transfer requires dedicated optimization. Our analysis identifies behavioral and strategic factors mediating successful knowledge transfer. We release our code, dataset, and evaluation framework to support future work on communicatively aligned models.