Melhores Embeddings com Adam Acoplado

Better Embeddings with Coupled Adam

February 12, 2025

Autores: Felix Stollenwerk, Tobias Stollenwerk

cs.AI

Resumo

Apesar de suas capacidades notáveis, os LLMs aprendem representações de palavras que exibem a característica indesejada e ainda pouco compreendida de anisotropia. Neste artigo, argumentamos que o segundo momento no Adam é uma causa de embeddings anisotrópicos e sugerimos um otimizador modificado chamado Coupled Adam para mitigar o problema. Nossos experimentos demonstram que o Coupled Adam melhora significativamente a qualidade dos embeddings, ao mesmo tempo em que leva a um melhor desempenho em tarefas upstream e downstream em conjuntos de dados suficientemente grandes.

English

Despite their remarkable capabilities, LLMs learn word representations that exhibit the undesirable yet poorly understood feature of anisotropy. In this paper, we argue that the second moment in Adam is a cause of anisotropic embeddings, and suggest a modified optimizer called Coupled Adam to mitigate the problem. Our experiments demonstrate that Coupled Adam significantly improves the quality of embeddings, while also leading to better upstream and downstream performance on large enough datasets.