Mejores incrustaciones con Adam acoplado

Better Embeddings with Coupled Adam

February 12, 2025

Autores: Felix Stollenwerk, Tobias Stollenwerk

cs.AI

Resumen

A pesar de sus notables capacidades, los LLMs aprenden representaciones de palabras que muestran la característica no deseada pero poco comprendida de anisotropía. En este artículo, argumentamos que el segundo momento en Adam es una causa de incrustaciones anisotrópicas, y sugerimos un optimizador modificado llamado Adam Acoplado para mitigar el problema. Nuestros experimentos demuestran que Adam Acoplado mejora significativamente la calidad de las incrustaciones, al mismo tiempo que conduce a un mejor rendimiento aguas arriba y aguas abajo en conjuntos de datos lo suficientemente grandes.

English

Despite their remarkable capabilities, LLMs learn word representations that exhibit the undesirable yet poorly understood feature of anisotropy. In this paper, we argue that the second moment in Adam is a cause of anisotropic embeddings, and suggest a modified optimizer called Coupled Adam to mitigate the problem. Our experiments demonstrate that Coupled Adam significantly improves the quality of embeddings, while also leading to better upstream and downstream performance on large enough datasets.