Computação em Tempo de Teste: do Pensamento do Sistema-1 ao Pensamento do Sistema-2

Test-time Computing: from System-1 Thinking to System-2 Thinking

January 5, 2025

Autores: Yixin Ji, Juntao Li, Hai Ye, Kaixin Wu, Jia Xu, Linjian Mo, Min Zhang

cs.AI

Resumo

O notável desempenho do modelo o1 em raciocínio complexo demonstra que a escalabilidade computacional no momento do teste pode desbloquear ainda mais o potencial do modelo, permitindo um pensamento poderoso do Sistema-2. No entanto, ainda falta uma pesquisa abrangente sobre a escalabilidade computacional no momento do teste. Traçamos o conceito de escalabilidade computacional no momento do teste de volta aos modelos do Sistema-1. Nos modelos do Sistema-1, a computação no momento do teste aborda mudanças na distribuição e melhora a robustez e generalização por meio da atualização de parâmetros, modificação de entrada, edição de representação e calibração de saída. Nos modelos do Sistema-2, ela aprimora a capacidade de raciocínio do modelo para resolver problemas complexos por meio de amostragem repetida, autorretificação e busca em árvore. Organizamos esta pesquisa de acordo com a tendência do pensamento do Sistema-1 para o Sistema-2, destacando o papel-chave da computação no momento do teste na transição de modelos do Sistema-1 para modelos fracos do Sistema-2 e, em seguida, para modelos fortes do Sistema-2. Também apontamos algumas possíveis direções futuras.

English

The remarkable performance of the o1 model in complex reasoning demonstrates that test-time computing scaling can further unlock the model's potential, enabling powerful System-2 thinking. However, there is still a lack of comprehensive surveys for test-time computing scaling. We trace the concept of test-time computing back to System-1 models. In System-1 models, test-time computing addresses distribution shifts and improves robustness and generalization through parameter updating, input modification, representation editing, and output calibration. In System-2 models, it enhances the model's reasoning ability to solve complex problems through repeated sampling, self-correction, and tree search. We organize this survey according to the trend of System-1 to System-2 thinking, highlighting the key role of test-time computing in the transition from System-1 models to weak System-2 models, and then to strong System-2 models. We also point out a few possible future directions.