스캐빈징 하이에나: 트랜스포머를 장기 컨볼루션 모델로 증류하기

초록

GPT-4와 같은 아키텍처로 대표되는 대형 언어 모델(LLM)의 급속한 발전은 자연어 처리의 지형을 재편하고 있습니다. 본 논문은 LLM 사전 학습과 관련된 효율성 문제를 해결하기 위한 선구적인 접근 방식을 소개하며, 아키텍처 간 지식 증류(knowledge distillation)를 활용하는 방법을 제안합니다. 효율적인 하이에나(Hyena) 메커니즘에서 얻은 통찰을 바탕으로, 우리의 방법은 트랜스포머 모델의 어텐션 헤드를 하이에나로 대체함으로써, 전통적인 사전 학습에 대한 비용 효율적인 대안을 제공하면서도, 이차 어텐션 메커니즘에 내재된 긴 문맥 정보 처리의 문제에 직면합니다. 압축 중심의 기존 방법과 달리, 우리의 기술은 추론 속도를 향상시킬 뿐만 아니라 정확도와 효율성 측면에서 사전 학습을 능가합니다. 진화하는 LLM 시대에, 우리의 연구는 컴퓨팅 파워와 환경 영향 사이의 균형을 맞추며 지속 가능한 AI 솔루션을 추구하는 데 기여합니다.

English

The rapid evolution of Large Language Models (LLMs), epitomized by architectures like GPT-4, has reshaped the landscape of natural language processing. This paper introduces a pioneering approach to address the efficiency concerns associated with LLM pre-training, proposing the use of knowledge distillation for cross-architecture transfer. Leveraging insights from the efficient Hyena mechanism, our method replaces attention heads in transformer models by Hyena, offering a cost-effective alternative to traditional pre-training while confronting the challenge of processing long contextual information, inherent in quadratic attention mechanisms. Unlike conventional compression-focused methods, our technique not only enhances inference speed but also surpasses pre-training in terms of both accuracy and efficiency. In the era of evolving LLMs, our work contributes to the pursuit of sustainable AI solutions, striking a balance between computational power and environmental impact.

스캐빈징 하이에나: 트랜스포머를 장기 컨볼루션 모델로 증류하기

Scavenging Hyena: Distilling Transformers into Long Convolution Models

초록

Support