Calcul à l'exécution du test : de la pensée du système-1 à la pensée du système-2

Test-time Computing: from System-1 Thinking to System-2 Thinking

January 5, 2025

Auteurs: Yixin Ji, Juntao Li, Hai Ye, Kaixin Wu, Jia Xu, Linjian Mo, Min Zhang

cs.AI

Résumé

La performance remarquable du modèle o1 en raisonnement complexe démontre que l'augmentation du calcul au moment du test peut encore libérer le potentiel du modèle, permettant ainsi une pensée puissante de type Système-2. Cependant, il existe toujours un manque d'enquêtes exhaustives sur l'augmentation du calcul au moment du test. Nous retrouvons le concept d'augmentation du calcul au moment du test dans les modèles de type Système-1. Dans les modèles de type Système-1, l'augmentation du calcul au moment du test aborde les changements de distribution et améliore la robustesse et la généralisation grâce à la mise à jour des paramètres, la modification des entrées, l'édition de la représentation et l'étalonnage des sorties. Dans les modèles de type Système-2, cela améliore la capacité de raisonnement du modèle pour résoudre des problèmes complexes grâce à des échantillonnages répétés, des auto-corrections et des recherches arborescentes. Nous organisons cette enquête en fonction de l'évolution de la pensée du Système-1 au Système-2, mettant en avant le rôle clé de l'augmentation du calcul au moment du test dans la transition des modèles de type Système-1 aux modèles de type Système-2 faibles, puis aux modèles de type Système-2 forts. Nous soulignons également quelques orientations futures possibles.

English

The remarkable performance of the o1 model in complex reasoning demonstrates that test-time computing scaling can further unlock the model's potential, enabling powerful System-2 thinking. However, there is still a lack of comprehensive surveys for test-time computing scaling. We trace the concept of test-time computing back to System-1 models. In System-1 models, test-time computing addresses distribution shifts and improves robustness and generalization through parameter updating, input modification, representation editing, and output calibration. In System-2 models, it enhances the model's reasoning ability to solve complex problems through repeated sampling, self-correction, and tree search. We organize this survey according to the trend of System-1 to System-2 thinking, highlighting the key role of test-time computing in the transition from System-1 models to weak System-2 models, and then to strong System-2 models. We also point out a few possible future directions.