より優れた埋め込みを実現するための結合型Adam

Better Embeddings with Coupled Adam

February 12, 2025

著者: Felix Stollenwerk, Tobias Stollenwerk

cs.AI

要旨

その驚異的な能力にもかかわらず、大規模言語モデル（LLMs）は望ましくないものの未だ十分に理解されていない異方性の特徴を示す単語表現を学習する。本論文では、Adamにおける第二モーメントが異方性埋め込みの原因であると主張し、この問題を緩和するために修正された最適化手法であるCoupled Adamを提案する。実験結果から、Coupled Adamは埋め込みの品質を大幅に改善し、十分に大規模なデータセットにおいて上流および下流タスクのパフォーマンス向上にも寄与することが示された。

English

Despite their remarkable capabilities, LLMs learn word representations that exhibit the undesirable yet poorly understood feature of anisotropy. In this paper, we argue that the second moment in Adam is a cause of anisotropic embeddings, and suggest a modified optimizer called Coupled Adam to mitigate the problem. Our experiments demonstrate that Coupled Adam significantly improves the quality of embeddings, while also leading to better upstream and downstream performance on large enough datasets.