Landschap van Gedachten: Visualisatie van het Redeneerproces van Grote Taalmodellen

Landscape of Thoughts: Visualizing the Reasoning Process of Large Language Models

March 28, 2025

Auteurs: Zhanke Zhou, Zhaocheng Zhu, Xuan Li, Mikhail Galkin, Xiao Feng, Sanmi Koyejo, Jian Tang, Bo Han

cs.AI

Samenvatting

Talloze toepassingen van grote taalmodellen (LLMs) zijn afhankelijk van hun vermogen om stapsgewijs te redeneren. Het redeneergedrag van LLMs blijft echter slecht begrepen, wat uitdagingen oplevert voor onderzoek, ontwikkeling en veiligheid. Om deze kloof te overbruggen, introduceren we 'landscape of thoughts' - het eerste visualisatiehulpmiddel waarmee gebruikers de redeneerpaden van 'chain-of-thought' en zijn afgeleiden kunnen inspecteren op elk meerkeuzedataset. Specifiek representeren we de toestanden in een redeneerpad als kenmerkvectoren die hun afstanden tot alle antwoordopties kwantificeren. Deze kenmerken worden vervolgens gevisualiseerd in tweedimensionale plots met behulp van t-SNE. Kwalitatieve en kwantitatieve analyse met de 'landscape of thoughts' onderscheidt effectief sterke en zwakke modellen, correcte en incorrecte antwoorden, evenals verschillende redeneertaken. Het onthult ook ongewenste redeneerpatronen, zoals lage consistentie en hoge onzekerheid. Daarnaast kunnen gebruikers ons hulpmiddel aanpassen aan een model dat de eigenschap voorspelt die zij observeren. We demonstreren dit voordeel door ons hulpmiddel aan te passen aan een lichtgewicht verifier die de correctheid van redeneerpaden evalueert. De code is openbaar beschikbaar op: https://github.com/tmlr-group/landscape-of-thoughts.

English

Numerous applications of large language models (LLMs) rely on their ability to perform step-by-step reasoning. However, the reasoning behavior of LLMs remains poorly understood, posing challenges to research, development, and safety. To address this gap, we introduce landscape of thoughts-the first visualization tool for users to inspect the reasoning paths of chain-of-thought and its derivatives on any multi-choice dataset. Specifically, we represent the states in a reasoning path as feature vectors that quantify their distances to all answer choices. These features are then visualized in two-dimensional plots using t-SNE. Qualitative and quantitative analysis with the landscape of thoughts effectively distinguishes between strong and weak models, correct and incorrect answers, as well as different reasoning tasks. It also uncovers undesirable reasoning patterns, such as low consistency and high uncertainty. Additionally, users can adapt our tool to a model that predicts the property they observe. We showcase this advantage by adapting our tool to a lightweight verifier that evaluates the correctness of reasoning paths. The code is publicly available at: https://github.com/tmlr-group/landscape-of-thoughts.