Valutazione delle Rappresentazioni degli Stati Mentali nei Modelli Linguistici

Benchmarking Mental State Representations in Language Models

June 25, 2024

Autori: Matteo Bortoletto, Constantin Ruhdorfer, Lei Shi, Andreas Bulling

cs.AI

Abstract

Mentre numerosi lavori hanno valutato le prestazioni generative dei modelli linguistici (LM) in compiti che richiedono ragionamenti basati sulla Teoria della Mente, la ricerca sulle rappresentazioni interne degli stati mentali nei modelli rimane limitata. Recenti studi hanno utilizzato tecniche di probing per dimostrare che i LM possono rappresentare le credenze di sé stessi e degli altri. Tuttavia, queste affermazioni sono accompagnate da una valutazione limitata, rendendo difficile determinare come le rappresentazioni degli stati mentali siano influenzate dalle scelte di progettazione e addestramento del modello. Presentiamo un benchmark esteso con vari tipi di LM, diverse dimensioni del modello, approcci di fine-tuning e design dei prompt per studiare la robustezza delle rappresentazioni degli stati mentali e i problemi di memorizzazione all'interno delle sonde. I nostri risultati mostrano che la qualità delle rappresentazioni interne delle credenze degli altri aumenta con la dimensione del modello e, ancora più crucialmente, con il fine-tuning. Siamo i primi a studiare come le variazioni dei prompt influenzino le prestazioni del probing nei compiti di Teoria della Mente. Dimostriamo che le rappresentazioni dei modelli sono sensibili alle variazioni dei prompt, anche quando tali variazioni dovrebbero essere benefiche. Infine, integriamo precedenti esperimenti di modifica delle attivazioni nei compiti di Teoria della Mente e mostriamo che è possibile migliorare le prestazioni di ragionamento dei modelli orientando le loro attivazioni senza la necessità di addestrare alcuna sonda.

English

While numerous works have assessed the generative performance of language models (LMs) on tasks requiring Theory of Mind reasoning, research into the models' internal representation of mental states remains limited. Recent work has used probing to demonstrate that LMs can represent beliefs of themselves and others. However, these claims are accompanied by limited evaluation, making it difficult to assess how mental state representations are affected by model design and training choices. We report an extensive benchmark with various LM types with different model sizes, fine-tuning approaches, and prompt designs to study the robustness of mental state representations and memorisation issues within the probes. Our results show that the quality of models' internal representations of the beliefs of others increases with model size and, more crucially, with fine-tuning. We are the first to study how prompt variations impact probing performance on theory of mind tasks. We demonstrate that models' representations are sensitive to prompt variations, even when such variations should be beneficial. Finally, we complement previous activation editing experiments on Theory of Mind tasks and show that it is possible to improve models' reasoning performance by steering their activations without the need to train any probe.