Улучшенные эмбеддинги с использованием связанного Adam

Better Embeddings with Coupled Adam

February 12, 2025

Авторы: Felix Stollenwerk, Tobias Stollenwerk

cs.AI

Аннотация

Несмотря на их впечатляющие возможности, крупные языковые модели (LLM) изучают представления слов, которые демонстрируют нежелательную, но малоизученную особенность — анизотропию. В данной статье мы утверждаем, что второй момент в оптимизаторе Adam является причиной анизотропных эмбеддингов, и предлагаем модифицированный оптимизатор под названием Coupled Adam для смягчения этой проблемы. Наши эксперименты показывают, что Coupled Adam значительно улучшает качество эмбеддингов, а также приводит к лучшей производительности как на предварительных, так и на последующих задачах при работе с достаточно большими наборами данных.

English

Despite their remarkable capabilities, LLMs learn word representations that exhibit the undesirable yet poorly understood feature of anisotropy. In this paper, we argue that the second moment in Adam is a cause of anisotropic embeddings, and suggest a modified optimizer called Coupled Adam to mitigate the problem. Our experiments demonstrate that Coupled Adam significantly improves the quality of embeddings, while also leading to better upstream and downstream performance on large enough datasets.