Трансформеры на основе энергии являются масштабируемыми обучающимися и мыслящими системами.

Аннотация

Методы вычислений во время вывода, аналогичные человеческому Системному Мышлению 2 (System 2 Thinking), в последнее время стали популярными для улучшения производительности моделей. Однако большинство существующих подходов страдают от нескольких ограничений: они специфичны для определённых модальностей (например, работают только с текстом), проблемно-ориентированы (например, проверяемые области, такие как математика и программирование) или требуют дополнительного обучения/надзора поверх неконтролируемого предобучения (например, верификаторы или проверяемые награды). В данной статье мы задаёмся вопросом: «Возможно ли обобщить эти подходы Системного Мышления 2 и разработать модели, которые учатся мыслить исключительно на основе неконтролируемого обучения?» Интересно, что мы находим положительный ответ на этот вопрос, обучая модели явно проверять совместимость между входными данными и кандидатами-предсказаниями, а затем переформулируя задачи предсказания как оптимизацию относительно этого верификатора. В частности, мы обучаем Энергетические Трансформеры (Energy-Based Transformers, EBTs) — новый класс энергетических моделей (Energy-Based Models, EBMs), — которые присваивают значение энергии каждой паре входных данных и кандидата-предсказания, что позволяет выполнять предсказания через минимизацию энергии на основе градиентного спуска до сходимости. Как в дискретных (текстовых), так и в непрерывных (визуальных) модальностях мы обнаруживаем, что EBTs масштабируются быстрее, чем доминирующий подход Transformer++, достигая до 35% более высокой скорости масштабирования относительно данных, размера батча, параметров, FLOPs и глубины. Во время вывода EBTs улучшают производительность с использованием Системного Мышления 2 на 29% больше, чем Transformer++ в языковых задачах, а также превосходят Diffusion Transformers в задаче удаления шума с изображений, используя меньше прямых проходов. Кроме того, мы обнаруживаем, что EBTs достигают лучших результатов, чем существующие модели, на большинстве задач при одинаковом или худшем качестве предобучения, что свидетельствует о лучшей обобщающей способности EBTs по сравнению с существующими подходами. Следовательно, EBTs представляют собой перспективную новую парадигму для масштабирования как обучающих, так и мыслительных способностей моделей.

English

Inference-time computation techniques, analogous to human System 2 Thinking, have recently become popular for improving model performances. However, most existing approaches suffer from several limitations: they are modality-specific (e.g., working only in text), problem-specific (e.g., verifiable domains like math and coding), or require additional supervision/training on top of unsupervised pretraining (e.g., verifiers or verifiable rewards). In this paper, we ask the question "Is it possible to generalize these System 2 Thinking approaches, and develop models that learn to think solely from unsupervised learning?" Interestingly, we find the answer is yes, by learning to explicitly verify the compatibility between inputs and candidate-predictions, and then re-framing prediction problems as optimization with respect to this verifier. Specifically, we train Energy-Based Transformers (EBTs) -- a new class of Energy-Based Models (EBMs) -- to assign an energy value to every input and candidate-prediction pair, enabling predictions through gradient descent-based energy minimization until convergence. Across both discrete (text) and continuous (visual) modalities, we find EBTs scale faster than the dominant Transformer++ approach during training, achieving an up to 35% higher scaling rate with respect to data, batch size, parameters, FLOPs, and depth. During inference, EBTs improve performance with System 2 Thinking by 29% more than the Transformer++ on language tasks, and EBTs outperform Diffusion Transformers on image denoising while using fewer forward passes. Further, we find that EBTs achieve better results than existing models on most downstream tasks given the same or worse pretraining performance, suggesting that EBTs generalize better than existing approaches. Consequently, EBTs are a promising new paradigm for scaling both the learning and thinking capabilities of models.

Трансформеры на основе энергии являются масштабируемыми обучающимися и мыслящими системами.

Energy-Based Transformers are Scalable Learners and Thinkers

Аннотация

Support