Ландшафт мыслей: Визуализация процесса рассуждения крупных языковых моделей

Landscape of Thoughts: Visualizing the Reasoning Process of Large Language Models

March 28, 2025

Авторы: Zhanke Zhou, Zhaocheng Zhu, Xuan Li, Mikhail Galkin, Xiao Feng, Sanmi Koyejo, Jian Tang, Bo Han

cs.AI

Аннотация

Многочисленные применения больших языковых моделей (LLM) основываются на их способности выполнять пошаговые рассуждения. Однако поведение LLM в процессе рассуждений остается плохо изученным, что создает трудности для исследований, разработки и обеспечения безопасности. Чтобы устранить этот пробел, мы представляем "ландшафт мыслей" — первый инструмент визуализации, позволяющий пользователям исследовать пути рассуждений в цепочке мыслей (chain-of-thought) и её производных на любом наборе данных с множественным выбором. В частности, мы представляем состояния в пути рассуждений в виде векторов признаков, которые количественно определяют их расстояния до всех вариантов ответа. Эти признаки затем визуализируются на двумерных графиках с использованием t-SNE. Качественный и количественный анализ с помощью "ландшафта мыслей" эффективно различает сильные и слабые модели, правильные и неправильные ответы, а также различные задачи рассуждений. Он также выявляет нежелательные паттерны рассуждений, такие как низкая согласованность и высокая неопределенность. Кроме того, пользователи могут адаптировать наш инструмент к модели, которая предсказывает наблюдаемое свойство. Мы демонстрируем это преимущество, адаптируя наш инструмент к легковесному верификатору, который оценивает правильность путей рассуждений. Код доступен по адресу: https://github.com/tmlr-group/landscape-of-thoughts.

English

Numerous applications of large language models (LLMs) rely on their ability to perform step-by-step reasoning. However, the reasoning behavior of LLMs remains poorly understood, posing challenges to research, development, and safety. To address this gap, we introduce landscape of thoughts-the first visualization tool for users to inspect the reasoning paths of chain-of-thought and its derivatives on any multi-choice dataset. Specifically, we represent the states in a reasoning path as feature vectors that quantify their distances to all answer choices. These features are then visualized in two-dimensional plots using t-SNE. Qualitative and quantitative analysis with the landscape of thoughts effectively distinguishes between strong and weak models, correct and incorrect answers, as well as different reasoning tasks. It also uncovers undesirable reasoning patterns, such as low consistency and high uncertainty. Additionally, users can adapt our tool to a model that predicts the property they observe. We showcase this advantage by adapting our tool to a lightweight verifier that evaluates the correctness of reasoning paths. The code is publicly available at: https://github.com/tmlr-group/landscape-of-thoughts.