PATS: Prozessbasierter adaptiver Denkmoduswechsel

PATS: Process-Level Adaptive Thinking Mode Switching

May 25, 2025

Autoren: Yi Wang, Junxiao Liu, Shimao Zhang, Jiajun Chen, Shujian Huang

cs.AI

Zusammenfassung

Aktuelle Large-Language-Modelle (LLMs) verwenden in der Regel eine feste Denkstrategie, entweder einfach oder komplex, für alle Fragen, unabhängig von deren Schwierigkeitsgrad. Diese Vernachlässigung der Variation in der Aufgaben- und Denkprozesskomplexität führt zu einem Ungleichgewicht zwischen Leistung und Effizienz. Bestehende Methoden versuchen, ein trainingsfreies Systemwechseln zwischen schnellem und langsamem Denken zu implementieren, um Probleme unterschiedlicher Schwierigkeit zu bewältigen, sind jedoch durch grobgranulare Strategieanpassungen auf Lösungsebene eingeschränkt. Um dieses Problem zu lösen, schlagen wir ein neuartiges Denkparadigma vor: Process-Level Adaptive Thinking Mode Switching (PATS), das es LLMs ermöglicht, ihre Denkstrategie dynamisch basierend auf der Schwierigkeit jedes Schritts anzupassen und so das Gleichgewicht zwischen Genauigkeit und Recheneffizienz zu optimieren. Unser Ansatz integriert Process Reward Models (PRMs) mit Beam Search und beinhaltet progressives Moduswechseln sowie Strafmechanismen für schlechte Schritte. Experimente auf diversen mathematischen Benchmarks zeigen, dass unsere Methode hohe Genauigkeit bei moderatem Token-Verbrauch erreicht. Diese Studie unterstreicht die Bedeutung einer prozessbasierten, schwierigkeitsbewussten Anpassung der Denkstrategie und bietet wertvolle Einblicke in effiziente Inferenz für LLMs.

English

Current large-language models (LLMs) typically adopt a fixed reasoning strategy, either simple or complex, for all questions, regardless of their difficulty. This neglect of variation in task and reasoning process complexity leads to an imbalance between performance and efficiency. Existing methods attempt to implement training-free fast-slow thinking system switching to handle problems of varying difficulty, but are limited by coarse-grained solution-level strategy adjustments. To address this issue, we propose a novel reasoning paradigm: Process-Level Adaptive Thinking Mode Switching (PATS), which enables LLMs to dynamically adjust their reasoning strategy based on the difficulty of each step, optimizing the balance between accuracy and computational efficiency. Our approach integrates Process Reward Models (PRMs) with Beam Search, incorporating progressive mode switching and bad-step penalty mechanisms. Experiments on diverse mathematical benchmarks demonstrate that our methodology achieves high accuracy while maintaining moderate token usage. This study emphasizes the significance of process-level, difficulty-aware reasoning strategy adaptation, offering valuable insights into efficient inference for LLMs.