Testzeit-Computing: Vom Denken des Systems-1 zum Denken des Systems-2

Test-time Computing: from System-1 Thinking to System-2 Thinking

January 5, 2025

Autoren: Yixin Ji, Juntao Li, Hai Ye, Kaixin Wu, Jia Xu, Linjian Mo, Min Zhang

cs.AI

Zusammenfassung

Die bemerkenswerte Leistung des o1-Modells bei komplexem Denken zeigt, dass die Skalierung der Rechenleistung zur Testzeit das Potenzial des Modells weiter freisetzen kann, indem sie leistungsstarkes System-2-Denken ermöglicht. Es fehlen jedoch immer noch umfassende Untersuchungen zur Skalierung der Rechenleistung zur Testzeit. Wir verfolgen das Konzept der Rechenleistung zur Testzeit bis zu System-1-Modellen zurück. In System-1-Modellen befasst sich die Rechenleistung zur Testzeit mit Verteilungsverschiebungen und verbessert die Robustheit und Verallgemeinerung durch Parameteraktualisierung, Eingabemodifikation, Repräsentationsbearbeitung und Ausgabekalibrierung. In System-2-Modellen verbessert sie die Denkfähigkeit des Modells zur Lösung komplexer Probleme durch wiederholte Stichproben, Selbstkorrektur und Baumstruktursuche. Wir gliedern diese Untersuchung entsprechend dem Trend vom System-1- zum System-2-Denken und heben die Schlüsselrolle der Rechenleistung zur Testzeit beim Übergang von System-1-Modellen zu schwachen System-2-Modellen und dann zu starken System-2-Modellen hervor. Wir weisen auch auf einige mögliche zukünftige Richtungen hin.

English

The remarkable performance of the o1 model in complex reasoning demonstrates that test-time computing scaling can further unlock the model's potential, enabling powerful System-2 thinking. However, there is still a lack of comprehensive surveys for test-time computing scaling. We trace the concept of test-time computing back to System-1 models. In System-1 models, test-time computing addresses distribution shifts and improves robustness and generalization through parameter updating, input modification, representation editing, and output calibration. In System-2 models, it enhances the model's reasoning ability to solve complex problems through repeated sampling, self-correction, and tree search. We organize this survey according to the trend of System-1 to System-2 thinking, highlighting the key role of test-time computing in the transition from System-1 models to weak System-2 models, and then to strong System-2 models. We also point out a few possible future directions.