범용 추론 모델

초록

유니버설 트랜스포머(UT)는 ARC-AGI 및 스도쿠와 같은 복잡한 추론 과제에 널리 사용되어 왔으나, 그 성능 향상의 구체적 원인은 아직 충분히 연구되지 않았다. 본 연구에서는 UT 변형 모델들을 체계적으로 분석하고, ARC-AGI에서의 성능 향상이 정교한 구조 설계보다는 트랜스포머의 순환적 편향과 강력한 비선형 구성 요소에서 주로 기원함을 보인다. 이러한 발견에 기반하여 우리는 단순 컨볼루션과 단축 역전파를 통해 UT를 강화한 Universal Reasoning Model(URM)을 제안한다. 우리의 접근법은 추론 성능을 크게 향상시켜 ARC-AGI 1에서 53.8% pass@1, ARC-AGI 2에서 16.0% pass@1의 최첨단 성능을 달성한다. 코드는 https://github.com/zitian-gao/URM에서 확인할 수 있다.

English

Universal transformers (UTs) have been widely used for complex reasoning tasks such as ARC-AGI and Sudoku, yet the specific sources of their performance gains remain underexplored. In this work, we systematically analyze UTs variants and show that improvements on ARC-AGI primarily arise from the recurrent inductive bias and strong nonlinear components of Transformer, rather than from elaborate architectural designs. Motivated by this finding, we propose the Universal Reasoning Model (URM), which enhances the UT with short convolution and truncated backpropagation. Our approach substantially improves reasoning performance, achieving state-of-the-art 53.8% pass@1 on ARC-AGI 1 and 16.0% pass@1 on ARC-AGI 2. Our code is avaliable at https://github.com/zitian-gao/URM.