TensorLens : Analyse de Transformers de Bout en Bout via des Tenseurs d'Attention d'Ordre Supérieur

TensorLens: End-to-End Transformer Analysis via High-Order Attention Tensors

January 25, 2026

papers.authors: Ido Andrew Atad, Itamar Zimerman, Shahar Katz, Lior Wolf

cs.AI

papers.abstract

Les matrices d'attention sont fondamentales pour la recherche sur les transformers, soutenant un large éventail d'applications incluant l'interprétabilité, la visualisation, la manipulation et la distillation. Pourtant, la plupart des analyses existantes se concentrent sur des têtes ou des couches d'attention individuelles, ne tenant pas compte du comportement global du modèle. Bien que des efforts antérieurs aient étendu les formulations de l'attention à travers plusieurs têtes via des moyennes et des multiplications matricielles, ou aient incorporé des composants tels que la normalisation et les FFN, une représentation unifiée et complète qui encapsule tous les blocs du transformer fait encore défaut. Nous comblons cette lacune en introduisant TensorLens, une nouvelle formulation qui capture l'ensemble du transformer comme un unique opérateur linéaire dépendant de l'entrée, exprimé par un tenseur d'interaction-attention d'ordre élevé. Ce tenseur encode conjointement l'attention, les FFN, les activations, les normalisations et les connexions résiduelles, offrant une représentation linéaire théoriquement cohérente et expressive du calcul du modèle. TensorLens est théoriquement fondé et notre validation empirique montre qu'il produit des représentations plus riches que les méthodes précédentes d'agrégation de l'attention. Nos expériences démontrent que le tenseur d'attention peut servir de base puissante pour développer des outils visant l'interprétabilité et la compréhension des modèles. Notre code est fourni en supplément.

English

Attention matrices are fundamental to transformer research, supporting a broad range of applications including interpretability, visualization, manipulation, and distillation. Yet, most existing analyses focus on individual attention heads or layers, failing to account for the model's global behavior. While prior efforts have extended attention formulations across multiple heads via averaging and matrix multiplications or incorporated components such as normalization and FFNs, a unified and complete representation that encapsulates all transformer blocks is still lacking. We address this gap by introducing TensorLens, a novel formulation that captures the entire transformer as a single, input-dependent linear operator expressed through a high-order attention-interaction tensor. This tensor jointly encodes attention, FFNs, activations, normalizations, and residual connections, offering a theoretically coherent and expressive linear representation of the model's computation. TensorLens is theoretically grounded and our empirical validation shows that it yields richer representations than previous attention-aggregation methods. Our experiments demonstrate that the attention tensor can serve as a powerful foundation for developing tools aimed at interpretability and model understanding. Our code is attached as a supplementary.