System 2 Attention (quelque chose dont vous pourriez avoir besoin aussi)
System 2 Attention (is something you might need too)
November 20, 2023
papers.authors: Jason Weston, Sainbayar Sukhbaatar
cs.AI
papers.abstract
L'attention douce dans les modèles de langage à grande échelle (LLM) basés sur les Transformers est sujette à intégrer des informations non pertinentes du contexte dans ses représentations latentes, ce qui affecte négativement la génération des tokens suivants. Pour remédier à ces problèmes, nous introduisons System 2 Attention (S2A), qui exploite la capacité des LLM à raisonner en langage naturel et à suivre des instructions pour décider ce à quoi il faut prêter attention. S2A régénère le contexte d'entrée pour n'inclure que les parties pertinentes, avant de se concentrer sur le contexte régénéré pour produire la réponse finale. Dans les expériences, S2A surpasse les LLM standard basés sur l'attention sur trois tâches contenant des opinions ou des informations non pertinentes : les questions-réponses, les problèmes de mots mathématiques et la génération de textes longs, où S2A améliore la factualité et l'objectivité, et réduit la complaisance.
English
Soft attention in Transformer-based Large Language Models (LLMs) is
susceptible to incorporating irrelevant information from the context into its
latent representations, which adversely affects next token generations. To help
rectify these issues, we introduce System 2 Attention (S2A), which leverages
the ability of LLMs to reason in natural language and follow instructions in
order to decide what to attend to. S2A regenerates the input context to only
include the relevant portions, before attending to the regenerated context to
elicit the final response. In experiments, S2A outperforms standard
attention-based LLMs on three tasks containing opinion or irrelevant
information, QA, math word problems and longform generation, where S2A
increases factuality and objectivity, and decreases sycophancy.