Универсальная модель рассуждений

Аннотация

Универсальные трансформеры (UT) широко применяются для решения сложных задач логического вывода, таких как ARC-AGI и Судоку, однако конкретные источники их производительности остаются малоизученными. В данной работе мы систематически анализируем варианты UT и показываем, что улучшения на ARC-AGI в основном обусловлены рекуррентным индуктивным смещением и сильными нелинейными компонентами трансформера, а не сложными архитектурными решениями. Руководствуясь этим открытием, мы предлагаем Универсальную модель логического вывода (URM), которая улучшает UT за счёт коротких свёрток и усечённого обратного распространения ошибки. Наш подход значительно повышает производительность логического вывода, достигая state-of-the-art показателей 53,8% pass@1 на ARC-AGI 1 и 16,0% pass@1 на ARC-AGI 2. Наш код доступен по адресу https://github.com/zitian-gao/URM.

English

Universal transformers (UTs) have been widely used for complex reasoning tasks such as ARC-AGI and Sudoku, yet the specific sources of their performance gains remain underexplored. In this work, we systematically analyze UTs variants and show that improvements on ARC-AGI primarily arise from the recurrent inductive bias and strong nonlinear components of Transformer, rather than from elaborate architectural designs. Motivated by this finding, we propose the Universal Reasoning Model (URM), which enhances the UT with short convolution and truncated backpropagation. Our approach substantially improves reasoning performance, achieving state-of-the-art 53.8% pass@1 on ARC-AGI 1 and 16.0% pass@1 on ARC-AGI 2. Our code is avaliable at https://github.com/zitian-gao/URM.