LightThinker: Schritt-für-Schritt-Denken durch Kompression

LightThinker: Thinking Step-by-Step Compression

February 21, 2025

Autoren: Jintian Zhang, Yuqi Zhu, Mengshu Sun, Yujie Luo, Shuofei Qiao, Lun Du, Da Zheng, Huajun Chen, Ningyu Zhang

cs.AI

Zusammenfassung

Große Sprachmodelle (LLMs) haben bemerkenswerte Leistungen bei komplexen Denkaufgaben gezeigt, doch ihre Effizienz wird durch die erheblichen Speicher- und Rechenkosten beeinträchtigt, die mit der Erzeugung langer Token verbunden sind. In diesem Artikel stellen wir LightThinker vor, eine neuartige Methode, die es LLMs ermöglicht, Zwischengedanken während des Denkprozesses dynamisch zu komprimieren. Inspiriert von menschlichen kognitiven Prozessen komprimiert LightThinker ausführliche Denkschritte in kompakte Darstellungen und verwirft die ursprünglichen Denkketten, wodurch die Anzahl der im Kontextfenster gespeicherten Token erheblich reduziert wird. Dies wird erreicht, indem das Modell darauf trainiert wird, wann und wie die Kompression durchgeführt werden soll, durch Datenkonstruktion, Abbildung von verborgenen Zuständen auf verdichtete Kern-Token und die Erstellung spezialisierter Aufmerksamkeitsmasken. Zusätzlich führen wir die Abhängigkeitsmetrik (Dep) ein, um den Grad der Kompression zu quantifizieren, indem die Abhängigkeit von historischen Token während der Generierung gemessen wird. Umfangreiche Experimente auf vier Datensätzen und zwei Modellen zeigen, dass LightThinker den Spitzenspeicherverbrauch und die Inferenzzeit reduziert, während die Genauigkeit wettbewerbsfähig bleibt. Unsere Arbeit bietet eine neue Richtung zur Verbesserung der Effizienz von LLMs bei komplexen Denkaufgaben, ohne die Leistung zu beeinträchtigen. Der Code wird unter https://github.com/zjunlp/LightThinker veröffentlicht.

English

Large language models (LLMs) have shown remarkable performance in complex reasoning tasks, but their efficiency is hindered by the substantial memory and computational costs associated with generating lengthy tokens. In this paper, we propose LightThinker, a novel method that enables LLMs to dynamically compress intermediate thoughts during reasoning. Inspired by human cognitive processes, LightThinker compresses verbose thought steps into compact representations and discards the original reasoning chains, thereby significantly reducing the number of tokens stored in the context window. This is achieved by training the model on when and how to perform compression through data construction, mapping hidden states to condensed gist tokens, and creating specialized attention masks. Additionally, we introduce the Dependency (Dep) metric to quantify the degree of compression by measuring the reliance on historical tokens during generation. Extensive experiments on four datasets and two models show that LightThinker reduces peak memory usage and inference time, while maintaining competitive accuracy. Our work provides a new direction for improving the efficiency of LLMs in complex reasoning tasks without sacrificing performance. Code will be released at https://github.com/zjunlp/LightThinker.