Het meten van betrouwbaarheid in keten-van-gedachten-redenering

Measuring Faithfulness in Chain-of-Thought Reasoning

July 17, 2023

Auteurs: Tamera Lanham, Anna Chen, Ansh Radhakrishnan, Benoit Steiner, Carson Denison, Danny Hernandez, Dustin Li, Esin Durmus, Evan Hubinger, Jackson Kernion, Kamilė Lukošiūtė, Karina Nguyen, Newton Cheng, Nicholas Joseph, Nicholas Schiefer, Oliver Rausch, Robin Larson, Sam McCandlish, Sandipan Kundu, Saurav Kadavath, Shannon Yang, Thomas Henighan, Timothy Maxwell, Timothy Telleen-Lawton, Tristan Hume, Zac Hatfield-Dodds, Jared Kaplan, Jan Brauner, Samuel R. Bowman, Ethan Perez

cs.AI

Samenvatting

Grote taalmodellen (LLM's) presteren beter wanneer ze stap-voor-stap, "Chain-of-Thought" (CoT)-redeneringen produceren voordat ze een vraag beantwoorden, maar het is onduidelijk of de gegeven redenering een betrouwbare verklaring is van het daadwerkelijke redeneerproces van het model (d.w.z., hoe het model tot het antwoord komt). We onderzoeken hypothesen over hoe CoT-redeneringen mogelijk onbetrouwbaar kunnen zijn, door te bestuderen hoe de voorspellingen van het model veranderen wanneer we ingrijpen in de CoT (bijvoorbeeld door fouten toe te voegen of deze te parafraseren). Modellen vertonen grote verschillen tussen taken in hoe sterk ze zich baseren op de CoT bij het voorspellen van hun antwoord, waarbij ze soms sterk leunen op de CoT en deze op andere momenten grotendeels negeren. De prestatieverbetering door CoT lijkt niet alleen voort te komen uit de extra rekentijd tijdens het testen of uit de informatie die is gecodeerd via de specifieke formulering van de CoT. Naarmate modellen groter en krachtiger worden, produceren ze minder betrouwbare redeneringen voor de meeste taken die we bestuderen. Over het algemeen suggereren onze resultaten dat CoT betrouwbaar kan zijn als omstandigheden zoals de modelgrootte en de taak zorgvuldig worden gekozen.

English

Large language models (LLMs) perform better when they produce step-by-step, "Chain-of-Thought" (CoT) reasoning before answering a question, but it is unclear if the stated reasoning is a faithful explanation of the model's actual reasoning (i.e., its process for answering the question). We investigate hypotheses for how CoT reasoning may be unfaithful, by examining how the model predictions change when we intervene on the CoT (e.g., by adding mistakes or paraphrasing it). Models show large variation across tasks in how strongly they condition on the CoT when predicting their answer, sometimes relying heavily on the CoT and other times primarily ignoring it. CoT's performance boost does not seem to come from CoT's added test-time compute alone or from information encoded via the particular phrasing of the CoT. As models become larger and more capable, they produce less faithful reasoning on most tasks we study. Overall, our results suggest that CoT can be faithful if the circumstances such as the model size and task are carefully chosen.