Versnel paralleliseerbaar redeneren via parallel decoderen binnen één sequentie

Accelerate Parallelizable Reasoning via Parallel Decoding within One Sequence

March 26, 2025

Auteurs: Yijiong Yu

cs.AI

Samenvatting

Recente vooruitgang in redeneermodellen heeft aanzienlijke verbeteringen in nauwkeurigheid laten zien, met name voor complexe taken zoals wiskundig redeneren, door het gebruik van gedetailleerde en uitgebreide redeneerprocessen. Het genereren van deze uitgebreide redeneersequenties is echter rekenkundig kostbaar en tijdrovend. Om deze inefficiëntie aan te pakken, benutten we de inherente paralleliseerbaarheid van bepaalde taken om het redeneerproces te versnellen. Specifiek, wanneer meerdere parallelle redeneertakken bestaan, decoderen we meerdere tokens per stap met behulp van een gespecialiseerd aandachtmasker, waarbij we ze binnen een enkele sequentie verwerken en zo extra geheugengebruik vermijden. Experimentele resultaten tonen aan dat onze methode een versnelling van meer dan 100% in decodeertijd bereikt, terwijl de kwaliteit van de antwoorden behouden blijft.

English

Recent advances in reasoning models have demonstrated significant improvements in accuracy, particularly for complex tasks such as mathematical reasoning, by employing detailed and comprehensive reasoning processes. However, generating these lengthy reasoning sequences is computationally expensive and time-consuming. To address this inefficiency, we leverage the inherent parallelizability of certain tasks to accelerate the reasoning process. Specifically, when multiple parallel reasoning branches exist, we decode multiple tokens per step using a specialized attention mask, processing them within a single sequence, avoiding additional memory usage. Experimental results show that our method achieves over 100% speedup in decoding time while maintaining the answer quality.