Verbesserte Einbettungen mit gekoppeltem Adam.

Better Embeddings with Coupled Adam

February 12, 2025

Autoren: Felix Stollenwerk, Tobias Stollenwerk

cs.AI

Zusammenfassung

Trotz ihrer bemerkenswerten Fähigkeiten lernen LLMs Wortrepräsentationen, die das unerwünschte, aber schlecht verstandene Merkmal der Anisotropie aufweisen. In diesem Paper argumentieren wir, dass das zweite Moment in Adam eine Ursache für anisotrope Einbettungen ist, und schlagen einen modifizierten Optimierer namens Coupled Adam vor, um das Problem zu mildern. Unsere Experimente zeigen, dass Coupled Adam die Qualität der Einbettungen signifikant verbessert und auch zu einer besseren Leistung bei großen Datensätzen führt.

English

Despite their remarkable capabilities, LLMs learn word representations that exhibit the undesirable yet poorly understood feature of anisotropy. In this paper, we argue that the second moment in Adam is a cause of anisotropic embeddings, and suggest a modified optimizer called Coupled Adam to mitigate the problem. Our experiments demonstrate that Coupled Adam significantly improves the quality of embeddings, while also leading to better upstream and downstream performance on large enough datasets.