Rückentwickeltes Denken für offene Generierung

papers.abstract

Während das Paradigma des „tiefen Denkens“ bedeutende Fortschritte in verifizierbaren Domänen wie der Mathematik vorangetrieben hat, bleibt seine Anwendung auf offene, kreative Generierung eine kritische Herausforderung. Die beiden dominierenden Methoden zur Vermittlung von Denkprozessen – Reinforcement Learning (RL) und Instruktionsdistillation – scheitern in diesem Bereich; RL kämpft mit dem Fehlen klarer Belohnungssignale und hochwertiger Belohnungsmodelle, während Distillation prohibitiv teuer ist und durch die Fähigkeiten des Lehrer-Modells begrenzt wird. Um diese Einschränkungen zu überwinden, führen wir REverse-Engineered Reasoning (REER) ein, ein neues Paradigma, das den Ansatz grundlegend verändert. Anstatt einen Denkprozess „vorwärts“ durch Versuch und Irrtum oder Nachahmung aufzubauen, arbeitet REER „rückwärts“ von bekannten guten Lösungen aus, um den latenten, schrittweisen tiefen Denkprozess zu entdecken, der sie hätte hervorbringen können. Mit diesem skalierbaren, gradientenfreien Ansatz kuratieren und veröffentlichen wir DeepWriting-20K, einen umfangreichen Datensatz mit 20.000 tiefen Denkpfaden für offene Aufgaben. Unser Modell, DeepWriter-8B, das auf diesen Daten trainiert wurde, übertrifft nicht nur starke Open-Source-Baselines, sondern erreicht auch eine Leistung, die mit führenden proprietären Modellen wie GPT-4o und Claude 3.5 konkurriert und diese teilweise sogar übertrifft.

English

While the ``deep reasoning'' paradigm has spurred significant advances in verifiable domains like mathematics, its application to open-ended, creative generation remains a critical challenge. The two dominant methods for instilling reasoning -- reinforcement learning (RL) and instruction distillation -- falter in this area; RL struggles with the absence of clear reward signals and high-quality reward models, while distillation is prohibitively expensive and capped by the teacher model's capabilities. To overcome these limitations, we introduce REverse-Engineered Reasoning (REER), a new paradigm that fundamentally shifts the approach. Instead of building a reasoning process ``forwards'' through trial-and-error or imitation, REER works ``backwards'' from known-good solutions to computationally discover the latent, step-by-step deep reasoning process that could have produced them. Using this scalable, gradient-free approach, we curate and open-source DeepWriting-20K, a large-scale dataset of 20,000 deep reasoning trajectories for open-ended tasks. Our model, DeepWriter-8B, trained on this data, not only surpasses strong open-source baselines but also achieves performance competitive with, and at times superior to, leading proprietary models like GPT-4o and Claude 3.5.

Rückentwickeltes Denken für offene Generierung

Reverse-Engineered Reasoning for Open-Ended Generation

papers.abstract

Support