Raisonnement inversé pour la génération ouverte

papers.abstract

Alors que le paradigme du « raisonnement profond » a stimulé des avancées significatives dans des domaines vérifiables comme les mathématiques, son application à la génération ouverte et créative reste un défi critique. Les deux méthodes dominantes pour instiller un raisonnement — l'apprentissage par renforcement (RL) et la distillation d'instructions — échouent dans ce domaine ; le RL peine en raison de l'absence de signaux de récompense clairs et de modèles de récompense de haute qualité, tandis que la distillation est prohibitivement coûteuse et limitée par les capacités du modèle enseignant. Pour surmonter ces limitations, nous introduisons le Raisonnement Inverse Ingénierisé (REER), un nouveau paradigme qui modifie fondamentalement l'approche. Au lieu de construire un processus de raisonnement « en avant » par essais et erreurs ou par imitation, REER fonctionne « en arrière » à partir de solutions connues pour découvrir de manière computationnelle le processus latent de raisonnement profond, étape par étape, qui aurait pu les produire. En utilisant cette approche évolutive et sans gradient, nous avons constitué et rendu public DeepWriting-20K, un jeu de données à grande échelle de 20 000 trajectoires de raisonnement profond pour des tâches ouvertes. Notre modèle, DeepWriter-8B, entraîné sur ces données, dépasse non seulement des modèles open-source de référence, mais atteint également des performances compétitives, et parfois supérieures, à celles de modèles propriétaires leaders comme GPT-4o et Claude 3.5.

English

While the ``deep reasoning'' paradigm has spurred significant advances in verifiable domains like mathematics, its application to open-ended, creative generation remains a critical challenge. The two dominant methods for instilling reasoning -- reinforcement learning (RL) and instruction distillation -- falter in this area; RL struggles with the absence of clear reward signals and high-quality reward models, while distillation is prohibitively expensive and capped by the teacher model's capabilities. To overcome these limitations, we introduce REverse-Engineered Reasoning (REER), a new paradigm that fundamentally shifts the approach. Instead of building a reasoning process ``forwards'' through trial-and-error or imitation, REER works ``backwards'' from known-good solutions to computationally discover the latent, step-by-step deep reasoning process that could have produced them. Using this scalable, gradient-free approach, we curate and open-source DeepWriting-20K, a large-scale dataset of 20,000 deep reasoning trajectories for open-ended tasks. Our model, DeepWriter-8B, trained on this data, not only surpasses strong open-source baselines but also achieves performance competitive with, and at times superior to, leading proprietary models like GPT-4o and Claude 3.5.

Raisonnement inversé pour la génération ouverte

Reverse-Engineered Reasoning for Open-Ended Generation

papers.abstract

Support