Comparação de Representações do Estado Mental em Modelos de Linguagem

Benchmarking Mental State Representations in Language Models

June 25, 2024

Autores: Matteo Bortoletto, Constantin Ruhdorfer, Lei Shi, Andreas Bulling

cs.AI

Resumo

Embora inúmeros trabalhos tenham avaliado o desempenho generativo de modelos de linguagem (LMs) em tarefas que exigem raciocínio de Teoria da Mente, a pesquisa sobre a representação interna dos estados mentais dos modelos permanece limitada. Trabalhos recentes utilizaram sondagem para demonstrar que os LMs podem representar crenças de si mesmos e de outros. No entanto, essas alegações são acompanhadas por uma avaliação limitada, o que torna difícil avaliar como as representações de estados mentais são afetadas pelo design e escolhas de treinamento do modelo. Apresentamos um extenso benchmark com diversos tipos de LM com diferentes tamanhos de modelo, abordagens de ajuste fino e designs de prompt para estudar a robustez das representações de estados mentais e questões de memorização dentro das sondas. Nossos resultados mostram que a qualidade das representações internas dos modelos das crenças dos outros aumenta com o tamanho do modelo e, mais crucialmente, com o ajuste fino. Somos os primeiros a estudar como variações de prompt impactam o desempenho de sondagem em tarefas de teoria da mente. Demonstramos que as representações dos modelos são sensíveis a variações de prompt, mesmo quando tais variações deveriam ser benéficas. Por fim, complementamos experimentos anteriores de edição de ativação em tarefas de Teoria da Mente e mostramos que é possível melhorar o desempenho de raciocínio dos modelos direcionando suas ativações sem a necessidade de treinar qualquer sonda.

English

While numerous works have assessed the generative performance of language models (LMs) on tasks requiring Theory of Mind reasoning, research into the models' internal representation of mental states remains limited. Recent work has used probing to demonstrate that LMs can represent beliefs of themselves and others. However, these claims are accompanied by limited evaluation, making it difficult to assess how mental state representations are affected by model design and training choices. We report an extensive benchmark with various LM types with different model sizes, fine-tuning approaches, and prompt designs to study the robustness of mental state representations and memorisation issues within the probes. Our results show that the quality of models' internal representations of the beliefs of others increases with model size and, more crucially, with fine-tuning. We are the first to study how prompt variations impact probing performance on theory of mind tasks. We demonstrate that models' representations are sensitive to prompt variations, even when such variations should be beneficial. Finally, we complement previous activation editing experiments on Theory of Mind tasks and show that it is possible to improve models' reasoning performance by steering their activations without the need to train any probe.