Betere Embeddings met Gekoppelde Adam

Better Embeddings with Coupled Adam

February 12, 2025

Auteurs: Felix Stollenwerk, Tobias Stollenwerk

cs.AI

Samenvatting

Ondanks hun opmerkelijke capaciteiten leren grote taalmmodellen (LLMs) woordrepresentaties die het ongewenste maar slecht begrepen kenmerk van anisotropie vertonen. In dit artikel beargumenteren we dat het tweede moment in Adam een oorzaak is van anisotrope embeddings, en stellen we een aangepaste optimizer genaamd Coupled Adam voor om het probleem te verlichten. Onze experimenten tonen aan dat Coupled Adam de kwaliteit van embeddings aanzienlijk verbetert, terwijl het ook leidt tot betere prestaties in zowel upstream- als downstreamtaken op voldoende grote datasets.

English

Despite their remarkable capabilities, LLMs learn word representations that exhibit the undesirable yet poorly understood feature of anisotropy. In this paper, we argue that the second moment in Adam is a cause of anisotropic embeddings, and suggest a modified optimizer called Coupled Adam to mitigate the problem. Our experiments demonstrate that Coupled Adam significantly improves the quality of embeddings, while also leading to better upstream and downstream performance on large enough datasets.