Repenser l'attention : Explorer les réseaux de neurones feed-forward peu profonds comme alternative aux couches d'attention dans les Transformers
Rethinking Attention: Exploring Shallow Feed-Forward Neural Networks as an Alternative to Attention Layers in Transformers
November 17, 2023
Auteurs: Vukasin Bozic, Danilo Dordervic, Daniele Coppola, Joseph Thommes
cs.AI
Résumé
Ce travail présente une analyse de l'efficacité de l'utilisation de réseaux feed-forward peu profonds standards pour imiter le comportement du mécanisme d'attention dans le modèle Transformer original, une architecture de pointe pour les tâches de séquence à séquence. Nous remplaçons des éléments clés du mécanisme d'attention dans le Transformer par des réseaux feed-forward simples, entraînés en utilisant les composants originaux via la distillation de connaissances. Nos expériences, menées sur le jeu de données IWSLT2017, révèlent la capacité de ces "Transformers sans attention" à rivaliser avec les performances de l'architecture originale. Grâce à des études d'ablation rigoureuses et à des expérimentations avec différents types et tailles de réseaux de remplacement, nous offrons des insights qui soutiennent la viabilité de notre approche. Cela éclaire non seulement l'adaptabilité des réseaux feed-forward peu profonds dans l'émulation des mécanismes d'attention, mais souligne également leur potentiel à simplifier des architectures complexes pour les tâches de séquence à séquence.
English
This work presents an analysis of the effectiveness of using standard shallow
feed-forward networks to mimic the behavior of the attention mechanism in the
original Transformer model, a state-of-the-art architecture for
sequence-to-sequence tasks. We substitute key elements of the attention
mechanism in the Transformer with simple feed-forward networks, trained using
the original components via knowledge distillation. Our experiments, conducted
on the IWSLT2017 dataset, reveal the capacity of these "attentionless
Transformers" to rival the performance of the original architecture. Through
rigorous ablation studies, and experimenting with various replacement network
types and sizes, we offer insights that support the viability of our approach.
This not only sheds light on the adaptability of shallow feed-forward networks
in emulating attention mechanisms but also underscores their potential to
streamline complex architectures for sequence-to-sequence tasks.