Трансформеры встречают Нейроалгоритмических Размышлений.

Transformers meet Neural Algorithmic Reasoners

June 13, 2024

Авторы: Wilfried Bounsi, Borja Ibarz, Andrew Dudzik, Jessica B. Hamrick, Larisa Markeeva, Alex Vitvitskyi, Razvan Pascanu, Petar Veličković

cs.AI

Аннотация

Трансформеры революционизировали машинное обучение своей простой, но эффективной архитектурой. Предварительное обучение Трансформеров на огромных текстовых наборах данных из Интернета привело к непревзойденной обобщенности для задач понимания естественного языка (NLU). Однако такие языковые модели остаются хрупкими, когда сталкиваются с алгоритмическими формами рассуждений, где вычисления должны быть точными и надежными. Для преодоления этого ограничения мы предлагаем новый подход, который объединяет понимание языка Трансформера с надежностью нейронных алгоритмических рассудителей (NAR), основанных на графовых нейронных сетях (GNN). Такие NAR доказали свою эффективность как универсальные решатели для алгоритмических задач, когда они заданы в виде графа. Чтобы сделать их вложения доступными для Трансформера, мы предлагаем гибридную архитектуру с двухфазовой процедурой обучения, позволяющую токенам в языковой модели взаимодействовать с вложениями узлов из NAR. Мы оцениваем нашу полученную модель TransNAR на CLRS-Text, текстовой версии бенчмарка CLRS-30, и демонстрируем значительные улучшения по сравнению с моделями только на Трансформерах для алгоритмического рассуждения как внутри, так и вне распределения.

English

Transformers have revolutionized machine learning with their simple yet effective architecture. Pre-training Transformers on massive text datasets from the Internet has led to unmatched generalization for natural language understanding (NLU) tasks. However, such language models remain fragile when tasked with algorithmic forms of reasoning, where computations must be precise and robust. To address this limitation, we propose a novel approach that combines the Transformer's language understanding with the robustness of graph neural network (GNN)-based neural algorithmic reasoners (NARs). Such NARs proved effective as generic solvers for algorithmic tasks, when specified in graph form. To make their embeddings accessible to a Transformer, we propose a hybrid architecture with a two-phase training procedure, allowing the tokens in the language model to cross-attend to the node embeddings from the NAR. We evaluate our resulting TransNAR model on CLRS-Text, the text-based version of the CLRS-30 benchmark, and demonstrate significant gains over Transformer-only models for algorithmic reasoning, both in and out of distribution.