Le Perroquet Stochastique sur l'Épaule du LLM : Une Évaluation Sommative de la Compréhension des Concepts Physiques

The Stochastic Parrot on LLM's Shoulder: A Summative Assessment of Physical Concept Understanding

February 13, 2025

Auteurs: Mo Yu, Lemao Liu, Junjie Wu, Tsz Ting Chung, Shunchi Zhang, Jiangnan Li, Dit-Yan Yeung, Jie Zhou

cs.AI

Résumé

De manière systématique, nous examinons une question largement posée : Les LLM comprennent-ils vraiment ce qu'ils disent ?, qui est liée au terme plus familier de Perroquet Stochastique. À cette fin, nous proposons une évaluation sommative sur une tâche de compréhension de concept physique soigneusement conçue, PhysiCo. Notre tâche atténue le problème de mémorisation en utilisant des entrées au format grille qui décrivent de manière abstraite des phénomènes physiques. Les grilles représentent différents niveaux de compréhension, allant du phénomène de base, des exemples d'application aux analogies avec d'autres schémas abstraits dans le monde en grille. Une étude approfondie sur notre tâche démontre : (1) les LLM de pointe, y compris GPT-4o, o1 et Gemini 2.0 flash thinking, sont en retard par rapport aux humains d'environ 40 % ; (2) le phénomène du perroquet stochastique est présent dans les LLM, car ils échouent sur notre tâche en grille mais peuvent bien décrire et reconnaître les mêmes concepts en langage naturel ; (3) notre tâche met les LLM au défi en raison de difficultés intrinsèques plutôt que du format de grille peu familier, car l'apprentissage en contexte et le fine-tuning sur des données formatées de la même manière ont peu amélioré leurs performances.

English

In a systematic way, we investigate a widely asked question: Do LLMs really understand what they say?, which relates to the more familiar term Stochastic Parrot. To this end, we propose a summative assessment over a carefully designed physical concept understanding task, PhysiCo. Our task alleviates the memorization issue via the usage of grid-format inputs that abstractly describe physical phenomena. The grids represents varying levels of understanding, from the core phenomenon, application examples to analogies to other abstract patterns in the grid world. A comprehensive study on our task demonstrates: (1) state-of-the-art LLMs, including GPT-4o, o1 and Gemini 2.0 flash thinking, lag behind humans by ~40%; (2) the stochastic parrot phenomenon is present in LLMs, as they fail on our grid task but can describe and recognize the same concepts well in natural language; (3) our task challenges the LLMs due to intrinsic difficulties rather than the unfamiliar grid format, as in-context learning and fine-tuning on same formatted data added little to their performance.