Сравнение представлений психического состояния в языковых моделях

Benchmarking Mental State Representations in Language Models

June 25, 2024

Авторы: Matteo Bortoletto, Constantin Ruhdorfer, Lei Shi, Andreas Bulling

cs.AI

Аннотация

Хотя множество работ оценили генеративную производительность языковых моделей (LMs) на задачах, требующих рассуждений о теории разума, исследования внутреннего представления моделей о психических состояниях остаются ограниченными. Недавние исследования использовали метод пробинга для демонстрации того, что LMs могут представлять убеждения себя и других. Однако эти утверждения сопровождаются ограниченной оценкой, что затрудняет оценку влияния конструкции модели и выбора методов обучения на представления психических состояний. Мы представляем обширный бенчмарк с различными типами LM с разными размерами моделей, подходами к тонкой настройке и конструкциями подсказок для изучения устойчивости представлений о психических состояниях и проблем запоминания в рамках проб. Наши результаты показывают, что качество внутренних представлений моделей убеждений других увеличивается с увеличением размера модели и, что более важно, с тонкой настройкой. Мы первые изучаем, как вариации подсказок влияют на производительность пробинга на задачах теории разума. Мы демонстрируем, что представления моделей чувствительны к вариациям подсказок, даже когда такие вариации должны быть полезными. Наконец, мы дополняем предыдущие эксперименты по редактированию активации на задачах теории разума и показываем, что можно улучшить производительность рассуждения моделей, направляя их активации без необходимости обучения какой-либо пробы.

English

While numerous works have assessed the generative performance of language models (LMs) on tasks requiring Theory of Mind reasoning, research into the models' internal representation of mental states remains limited. Recent work has used probing to demonstrate that LMs can represent beliefs of themselves and others. However, these claims are accompanied by limited evaluation, making it difficult to assess how mental state representations are affected by model design and training choices. We report an extensive benchmark with various LM types with different model sizes, fine-tuning approaches, and prompt designs to study the robustness of mental state representations and memorisation issues within the probes. Our results show that the quality of models' internal representations of the beliefs of others increases with model size and, more crucially, with fine-tuning. We are the first to study how prompt variations impact probing performance on theory of mind tasks. We demonstrate that models' representations are sensitive to prompt variations, even when such variations should be beneficial. Finally, we complement previous activation editing experiments on Theory of Mind tasks and show that it is possible to improve models' reasoning performance by steering their activations without the need to train any probe.