モデルが説明可能な範囲を超えた知識を持つとき：人間とAIの協働における知識転移の定量化

要旨

AI推論技術の最近の進展は、多様なタスクにおいて大幅な改善をもたらしています。重要な未解決の課題は、これらの改善が知識伝達の向上にもつながるかどうか、つまり、モデルが人間が理解し、適用し、学ぶことができる方法で推論を伝達する能力が向上するかどうかです。これを調査するため、我々は「知識統合と伝達評価（KITE）」を導入しました。これは、人間とAIの知識伝達能力を評価するための概念的かつ実験的なフレームワークであり、これを明示的に測定する初の大規模な人間研究（N=118）を実施しました。我々の2段階の実験設定では、まず人間がAIと共に問題解決戦略を考案し、その後独立して解決策を実施することで、モデルの説明が人間の理解に与える影響を分離しました。我々の調査結果は、モデルのベンチマーク性能が共同作業の成果と相関するものの、この関係は著しく一貫性がなく、重要な外れ値が存在することを明らかにし、知識伝達には専用の最適化が必要であることを示しています。我々の分析は、成功した知識伝達を仲介する行動的および戦略的要因を特定しています。我々は、コミュニケーションに適したモデルの今後の研究を支援するため、コード、データセット、評価フレームワークを公開します。

English

Recent advancements in AI reasoning have driven substantial improvements across diverse tasks. A critical open question is whether these improvements also yields better knowledge transfer: the ability of models to communicate reasoning in ways humans can understand, apply, and learn from. To investigate this, we introduce Knowledge Integration and Transfer Evaluation (KITE), a conceptual and experimental framework for Human-AI knowledge transfer capabilities and conduct the first large-scale human study (N=118) explicitly designed to measure it. In our two-phase setup, humans first ideate with an AI on problem-solving strategies, then independently implement solutions, isolating model explanations' influence on human understanding. Our findings reveal that although model benchmark performance correlates with collaborative outcomes, this relationship is notably inconsistent, featuring significant outliers, indicating that knowledge transfer requires dedicated optimization. Our analysis identifies behavioral and strategic factors mediating successful knowledge transfer. We release our code, dataset, and evaluation framework to support future work on communicatively aligned models.

モデルが説明可能な範囲を超えた知識を持つとき：人間とAIの協働における知識転移の定量化

When Models Know More Than They Can Explain: Quantifying Knowledge Transfer in Human-AI Collaboration

要旨

Support