Testtijdcomputing: van Systeem-1 denken naar Systeem-2 denken

Test-time Computing: from System-1 Thinking to System-2 Thinking

January 5, 2025

Auteurs: Yixin Ji, Juntao Li, Hai Ye, Kaixin Wu, Jia Xu, Linjian Mo, Min Zhang

cs.AI

Samenvatting

De opmerkelijke prestaties van het o1-model in complex redeneren tonen aan dat het schalen van berekeningen op testtijd het potentieel van het model verder kan ontsluiten, waardoor krachtig System-2 denken mogelijk wordt. Er ontbreekt echter nog steeds een gebrek aan uitgebreide onderzoeken naar het schalen van berekeningen op testtijd. We traceren het concept van berekeningen op testtijd terug naar System-1 modellen. In System-1 modellen adresseert berekeningen op testtijd verschuivingen in distributie en verbetert het robuustheid en generalisatie door parameteraanpassingen, invoeraanpassingen, representatiebewerking en uitvoerkalibratie. In System-2 modellen verbetert het de redeneervaardigheid van het model om complexe problemen op te lossen door herhaalde steekproeven, zelfcorrectie en boomzoekacties. We organiseren deze survey volgens de trend van System-1 naar System-2 denken, waarbij de sleutelrol van berekeningen op testtijd bij de overgang van System-1 modellen naar zwakke System-2 modellen, en vervolgens naar sterke System-2 modellen, wordt benadrukt. We wijzen ook op een paar mogelijke toekomstige richtingen.

English

The remarkable performance of the o1 model in complex reasoning demonstrates that test-time computing scaling can further unlock the model's potential, enabling powerful System-2 thinking. However, there is still a lack of comprehensive surveys for test-time computing scaling. We trace the concept of test-time computing back to System-1 models. In System-1 models, test-time computing addresses distribution shifts and improves robustness and generalization through parameter updating, input modification, representation editing, and output calibration. In System-2 models, it enhances the model's reasoning ability to solve complex problems through repeated sampling, self-correction, and tree search. We organize this survey according to the trend of System-1 to System-2 thinking, highlighting the key role of test-time computing in the transition from System-1 models to weak System-2 models, and then to strong System-2 models. We also point out a few possible future directions.