Der Einfluss der Länge von Argumentationsschritten auf große Sprachmodelle

The Impact of Reasoning Step Length on Large Language Models

January 10, 2024

Autoren: Mingyu Jin, Qinkai Yu, Dong shu, Haiyan Zhao, Wenyue Hua, Yanda Meng, Yongfeng Zhang, Mengnan Du

cs.AI

Zusammenfassung

Chain of Thought (CoT) spielt eine entscheidende Rolle bei der Verbesserung der Fähigkeiten großer Sprachmodelle (LLMs) zum logischen Schlussfolgern. Dennoch ist der Zusammenhang zwischen der Wirksamkeit von CoT und der Länge der Argumentationsschritte in Prompts weitgehend unerforscht. Um dies zu beleuchten, haben wir mehrere empirische Experimente durchgeführt, um diese Beziehungen zu untersuchen. Konkret haben wir Experimente entworfen, bei denen die Argumentationsschritte in CoT-Demonstrationen erweitert und komprimiert wurden, während alle anderen Faktoren konstant gehalten wurden. Dabei haben wir die folgenden zentralen Erkenntnisse gewonnen. Erstens zeigen die Ergebnisse, dass die Verlängerung der Argumentationsschritte in Prompts, selbst ohne die Hinzufügung neuer Informationen, die Fähigkeiten von LLMs zum logischen Schlussfolgern über mehrere Datensätze hinweg erheblich verbessert. Umgekehrt führt die Verkürzung der Argumentationsschritte, selbst bei Beibehaltung der Schlüsselinformationen, zu einer signifikanten Verschlechterung der Fähigkeiten der Modelle. Diese Erkenntnis unterstreicht die Bedeutung der Anzahl der Schritte in CoT-Prompts und bietet praktische Anleitungen, um das Potenzial von LLMs in komplexen Problemlösungsszenarien besser auszuschöpfen. Zweitens haben wir auch die Beziehung zwischen der Leistung von CoT und den in Demonstrationen verwendeten Argumentationen untersucht. Überraschenderweise zeigt das Ergebnis, dass selbst falsche Argumentationen positive Ergebnisse liefern können, wenn sie die erforderliche Länge der Schlussfolgerung beibehalten. Drittens haben wir beobachtet, dass die Vorteile einer Erhöhung der Argumentationsschritte aufgabenabhängig sind: Einfache Aufgaben erfordern weniger Schritte, während komplexe Aufgaben erheblich von längeren Schlussfolgerungssequenzen profitieren.

English

Chain of Thought (CoT) is significant in improving the reasoning abilities of large language models (LLMs). However, the correlation between the effectiveness of CoT and the length of reasoning steps in prompts remains largely unknown. To shed light on this, we have conducted several empirical experiments to explore the relations. Specifically, we design experiments that expand and compress the rationale reasoning steps within CoT demonstrations, while keeping all other factors constant. We have the following key findings. First, the results indicate that lengthening the reasoning steps in prompts, even without adding new information into the prompt, considerably enhances LLMs' reasoning abilities across multiple datasets. Alternatively, shortening the reasoning steps, even while preserving the key information, significantly diminishes the reasoning abilities of models. This finding highlights the importance of the number of steps in CoT prompts and provides practical guidance to make better use of LLMs' potential in complex problem-solving scenarios. Second, we also investigated the relationship between the performance of CoT and the rationales used in demonstrations. Surprisingly, the result shows that even incorrect rationales can yield favorable outcomes if they maintain the requisite length of inference. Third, we observed that the advantages of increasing reasoning steps are task-dependent: simpler tasks require fewer steps, whereas complex tasks gain significantly from longer inference sequences.