Transformer treffen auf Neuronale Algorithmische Denker.

papers.abstract

Transformer haben das maschinelle Lernen mit ihrer einfachen, aber effektiven Architektur revolutioniert. Das Vortrainieren von Transformern auf umfangreichen Textdatensätzen aus dem Internet hat zu einer beispiellosen Verallgemeinerung für Aufgaben im Bereich des natürlichen Sprachverständnisses (NLU) geführt. Allerdings bleiben solche Sprachmodelle anfällig, wenn sie mit algorithmischen Formen des Denkens konfrontiert werden, bei denen Berechnungen präzise und robust sein müssen. Um diese Einschränkung zu bewältigen, schlagen wir einen neuartigen Ansatz vor, der das Sprachverständnis des Transformers mit der Robustheit von Graph-Neuralnetwork(GNN)-basierten neuronalen algorithmischen Schlussfolgerern (NARs) kombiniert. Solche NARs haben sich als effektive generische Solver für algorithmische Aufgaben erwiesen, wenn sie in Form von Graphen spezifiziert sind. Um ihre Einbettungen für einen Transformer zugänglich zu machen, schlagen wir eine Hybridarchitektur mit einem zweiphasigen Schulungsverfahren vor, das es den Token im Sprachmodell ermöglicht, auf die Knoteneinbettungen des NAR zuzugreifen. Wir evaluieren unser resultierendes TransNAR-Modell anhand von CLRS-Text, der textbasierten Version des CLRS-30-Benchmarks, und zeigen signifikante Verbesserungen gegenüber reinen Transformer-Modellen für algorithmisches Denken, sowohl innerhalb als auch außerhalb der Verteilung.

English

Transformers have revolutionized machine learning with their simple yet effective architecture. Pre-training Transformers on massive text datasets from the Internet has led to unmatched generalization for natural language understanding (NLU) tasks. However, such language models remain fragile when tasked with algorithmic forms of reasoning, where computations must be precise and robust. To address this limitation, we propose a novel approach that combines the Transformer's language understanding with the robustness of graph neural network (GNN)-based neural algorithmic reasoners (NARs). Such NARs proved effective as generic solvers for algorithmic tasks, when specified in graph form. To make their embeddings accessible to a Transformer, we propose a hybrid architecture with a two-phase training procedure, allowing the tokens in the language model to cross-attend to the node embeddings from the NAR. We evaluate our resulting TransNAR model on CLRS-Text, the text-based version of the CLRS-30 benchmark, and demonstrate significant gains over Transformer-only models for algorithmic reasoning, both in and out of distribution.

Transformer treffen auf Neuronale Algorithmische Denker.

Transformers meet Neural Algorithmic Reasoners

papers.abstract

Support