Taalmodellen zeggen niet altijd wat ze denken: Ontrouwe verklaringen in Chain-of-Thought Prompting

Language Models Don't Always Say What They Think: Unfaithful Explanations in Chain-of-Thought Prompting

May 7, 2023

Auteurs: Miles Turpin, Julian Michael, Ethan Perez, Samuel R. Bowman

cs.AI

Samenvatting

Grote Taalmodellen (LLMs) kunnen sterke prestaties leveren op veel taken door stapsgewijs redeneren te produceren voordat ze een definitieve uitvoer geven, vaak aangeduid als keten-van-gedachten-redeneren (CoT). Het is verleidelijk om deze CoT-verklaringen te interpreteren als het proces van het LLM om een taak op te lossen. Wij constateren echter dat CoT-verklaringen systematisch de werkelijke reden voor de voorspelling van een model kunnen misrepresenteren. We demonstreren dat CoT-verklaringen sterk beïnvloed kunnen worden door bevooroordeelde kenmerken toe te voegen aan modelinvoer — bijvoorbeeld door de meerkeuzeopties in een few-shot prompt te herschikken zodat het antwoord altijd "(A)" is — wat modellen systematisch niet vermelden in hun verklaringen. Wanneer we modellen beïnvloeden richting incorrecte antwoorden, genereren ze vaak CoT-verklaringen die die antwoorden ondersteunen. Dit zorgt ervoor dat de nauwkeurigheid met wel 36% daalt op een reeks van 13 taken uit BIG-Bench Hard, bij het testen met GPT-3.5 van OpenAI en Claude 1.0 van Anthropic. Op een taak rond sociale vooroordelen rechtvaardigen modelverklaringen het geven van antwoorden die in lijn zijn met stereotypen, zonder de invloed van deze sociale vooroordelen te vermelden. Onze bevindingen geven aan dat CoT-verklaringen plausibel maar misleidend kunnen zijn, wat het risico vergroot dat we meer vertrouwen krijgen in LLMs zonder hun veiligheid te garanderen. CoT is veelbelovend voor verklaarbaarheid, maar onze resultaten benadrukken de noodzaak van gerichte inspanningen om de trouw van verklaringen te evalueren en te verbeteren.

English

Large Language Models (LLMs) can achieve strong performance on many tasks by producing step-by-step reasoning before giving a final output, often referred to as chain-of-thought reasoning (CoT). It is tempting to interpret these CoT explanations as the LLM's process for solving a task. However, we find that CoT explanations can systematically misrepresent the true reason for a model's prediction. We demonstrate that CoT explanations can be heavily influenced by adding biasing features to model inputs -- e.g., by reordering the multiple-choice options in a few-shot prompt to make the answer always "(A)" -- which models systematically fail to mention in their explanations. When we bias models toward incorrect answers, they frequently generate CoT explanations supporting those answers. This causes accuracy to drop by as much as 36% on a suite of 13 tasks from BIG-Bench Hard, when testing with GPT-3.5 from OpenAI and Claude 1.0 from Anthropic. On a social-bias task, model explanations justify giving answers in line with stereotypes without mentioning the influence of these social biases. Our findings indicate that CoT explanations can be plausible yet misleading, which risks increasing our trust in LLMs without guaranteeing their safety. CoT is promising for explainability, but our results highlight the need for targeted efforts to evaluate and improve explanation faithfulness.