Feedback-Reibung: LLMs haben Schwierigkeiten, externes Feedback vollständig zu integrieren

Feedback Friction: LLMs Struggle to Fully Incorporate External Feedback

June 13, 2025

Autoren: Dongwei Jiang, Alvin Zhang, Andrew Wang, Nicholas Andrews, Daniel Khashabi

cs.AI

Zusammenfassung

Aktuelle Studien haben gezeigt, dass große Sprachmodelle (LLMs) in gewissem Maße in der Lage sind, ihre Antworten zu verbessern, wenn sie externes Feedback erhalten. Es bleibt jedoch unklar, wie effektiv und gründlich diese Modelle extrinsisches Feedback integrieren können. Im Idealfall, wenn LLMs nahezu perfektes und vollständiges Feedback erhalten, würden wir erwarten, dass sie das Feedback vollständig übernehmen und ihre falschen Antworten in korrekte ändern. In diesem Papier untersuchen wir systematisch die Fähigkeit von LLMs, Feedback zu integrieren, indem wir eine kontrollierte experimentelle Umgebung entwerfen. Für jedes Problem versucht ein Lösungsmodell eine Antwort, dann erzeugt ein Feedback-Generator mit Zugriff auf nahezu vollständige Ground-Truth-Antworten gezieltes Feedback, woraufhin das Lösungsmodell erneut versucht. Wir bewerten diesen Prozess über eine Vielzahl von Aufgaben hinweg, darunter mathematisches Denken, Wissensdenken, wissenschaftliches Denken und allgemeine Multi-Domain-Evaluierungen mit state-of-the-art Sprachmodellen wie Claude 3.7 (mit und ohne erweitertes Denken). Überraschenderweise zeigen Lösungsmodelle selbst unter diesen nahezu idealen Bedingungen eine konsistente Resistenz gegenüber Feedback, eine Einschränkung, die wir als FEEDBACK FRICTION bezeichnen. Um diese Einschränkung zu mildern, experimentieren wir mit sampling-basierten Strategien wie progressiver Temperaturerhöhung und expliziter Ablehnung zuvor versuchter falscher Antworten, die Verbesserungen bringen, aber dennoch nicht dazu führen, dass die Modelle die Zielleistung erreichen. Wir führen auch eine rigorose Untersuchung potenzieller Ursachen für FEEDBACK FRICTION durch und schließen Faktoren wie Modellüberzeugung und Datenvertrautheit aus. Wir hoffen, dass die Hervorhebung dieses Problems in LLMs und das Ausschließen mehrerer offensichtlicher Ursachen zukünftige Forschung zur Selbstverbesserung unterstützen wird.

English

Recent studies have shown LLMs possess some ability to improve their responses when given external feedback. However, it remains unclear how effectively and thoroughly these models can incorporate extrinsic feedback. In an ideal scenario, if LLMs receive near-perfect and complete feedback, we would expect them to fully integrate the feedback and change their incorrect answers to correct ones. In this paper, we systematically investigate LLMs' ability to incorporate feedback by designing a controlled experimental environment. For each problem, a solver model attempts a solution, then a feedback generator with access to near-complete ground-truth answers produces targeted feedback, after which the solver tries again. We evaluate this pipeline across a diverse range of tasks, including math reasoning, knowledge reasoning, scientific reasoning, and general multi-domain evaluations with state-of-the-art language models including Claude 3.7 (with and without extended thinking). Surprisingly, even under these near-ideal conditions, solver models consistently show resistance to feedback, a limitation that we term FEEDBACK FRICTION. To mitigate this limitation, we experiment with sampling-based strategies like progressive temperature increases and explicit rejection of previously attempted incorrect answers, which yield improvements but still fail to help models achieve target performance. We also perform a rigorous exploration of potential causes of FEEDBACK FRICTION, ruling out factors such as model overconfidence and data familiarity. We hope that highlighting this issue in LLMs and ruling out several apparent causes will help future research in self-improvement.