주의 메커니즘 해체: 효과적인 언어 모델링을 위한 설계 원칙 탐구

초록

트랜스포머 언어 모델의 성공은 주로 그들의 내적 어텐션(dot-product attention) 메커니즘에 기인하는데, 이 메커니즘은 여러 핵심 설계 원칙을 결합합니다: 위치 간 정보 혼합(다중 토큰 상호작용 가능), 시퀀스 의존적 활성화(어텐션 가중치가 각 입력에 맞춰 조정), 특정 수학적 형태(내적 유사도와 소프트맥스 가중치 결합), 그리고 쿼리와 키를 변화하는 은닉 상태와 연결(현재 레이어에 어텐션을 기반으로 함). 그러나 이러한 각 원칙의 필수성은 대부분 검증되지 않은 상태입니다. 본 연구에서는 이러한 원칙을 선택적으로 완화한 제어된 변형을 설계하여 어텐션을 체계적으로 해체합니다. 이를 모든 레이어에 균일하게 적용하거나, 일부 레이어만 표준 어텐션을 유지하는 하이브리드 아키텍처에서 적용했습니다. 실험적 분석 결과, 토큰 혼합 메커니즘은 필수적이며, 이가 없으면 모델이 거의 무작위 수준으로 성능이 저하되는 반면, 정확한 수학적 형태와 시퀀스 의존성은 상당히 완화될 수 있음이 밝혀졌습니다. 특히 이들이 일부 레이어에서만 유지될 때 더욱 그러했습니다. 놀랍게도, 단독으로는 실패하는 변형들도 표준 어텐션과 교차 사용할 때 강력한 성능을 발휘할 수 있어 협력 효과를 강조합니다. 이러한 발견은 어텐션의 효과를 진정으로 뒷받침하는 요소에 대한 이해를 깊게 하고, 성능 저하 없이 언어 모델을 단순화할 수 있는 새로운 가능성을 열어줍니다.

English

The success of Transformer language models is widely credited to their dot-product attention mechanism, which interweaves a set of key design principles: mixing information across positions (enabling multi-token interactions), sequence-dependent activations (where attention weights adapt to each input), a specific mathematical form (dot-product similarities plus softmax weighting), and coupling of queries and keys to evolving hidden states (grounding attention in the current layer). However, the necessity of each of these principles remains largely untested. In this work, we systematically deconstruct attention by designing controlled variants that selectively relax these principles, applied both uniformly across all layers and in hybrid architectures where only some layers retain standard attention. Our empirical analysis reveals that mechanisms for mixing tokens are indispensable, as their absence collapses models to near-random behavior, while the exact mathematical form and sequence dependency can be substantially relaxed, especially when preserved in just a subset of layers. Surprisingly, even variants that fail in isolation can achieve robust performance when interleaved with standard attention, highlighting a cooperative effect. These findings deepen our understanding of what truly underpins attention's effectiveness and open new avenues for simplifying language models without sacrificing performance.

주의 메커니즘 해체: 효과적인 언어 모델링을 위한 설계 원칙 탐구

Deconstructing Attention: Investigating Design Principles for Effective Language Modeling

초록

Support