System 2 Attention（あなたにも必要かもしれません）

要旨

Transformerベースの大規模言語モデル（LLM）におけるソフトアテンションは、文脈から無関係な情報を潜在表現に取り込む傾向があり、これが次のトークン生成に悪影響を及ぼします。この問題を改善するため、我々は「System 2 Attention（S2A）」を提案します。S2Aは、LLMが自然言語で推論し、指示に従う能力を活用して、何に注意を向けるかを決定します。S2Aは、最終的な応答を引き出す前に、関連する部分のみを含むように入力文脈を再生成し、その再生成された文脈に注意を向けます。実験では、意見や無関係な情報を含む3つのタスク（QA、数学文章題、長文生成）において、S2Aは標準的なアテンションベースのLLMを上回り、事実性と客観性を向上させ、迎合性を減少させました。

English

Soft attention in Transformer-based Large Language Models (LLMs) is susceptible to incorporating irrelevant information from the context into its latent representations, which adversely affects next token generations. To help rectify these issues, we introduce System 2 Attention (S2A), which leverages the ability of LLMs to reason in natural language and follow instructions in order to decide what to attend to. S2A regenerates the input context to only include the relevant portions, before attending to the regenerated context to elicit the final response. In experiments, S2A outperforms standard attention-based LLMs on three tasks containing opinion or irrelevant information, QA, math word problems and longform generation, where S2A increases factuality and objectivity, and decreases sycophancy.

System 2 Attention（あなたにも必要かもしれません）

System 2 Attention (is something you might need too)

要旨

Support