FIAT: 명령어 가속 튜닝과 학습 패러다임의 융합

초록

대규모 언어 모델(LLM)의 학습 패러다임은 현재 컨텍스트 내 학습(In-Context Learning, ICL)과 전체 미세 조정(Full Fine-Tuning)으로 크게 나뉩니다. 각각의 접근 방식은 사용 가능한 데이터, 모델 크기, 계산 비용, 사용 편의성, 최종 품질 등에 따라 고유의 장단점을 가지며, 어느 한 방법도 모든 측면에서 우수한 성능을 보이지는 않습니다. 본 논문에서는 먼저 ICL과 미세 조정 패러다임을 설명하며 이들 간의 자연스러운 연결점을 강조합니다. 이러한 연결점을 바탕으로, 우리는 두 패러다임의 장점을 융합한 새로운 학습 패러다임인 FIAT를 제안합니다. FIAT는 가장 큰 모델에서 프롬프트 엔지니어링과 사고 연쇄(Chain-of-Thought) 추론을 가능하게 하면서도, 적당한 크기의 LLM에 대해 매개변수 효율적 조정(Parameter-Efficient Tuning)을 통해 매개변수 업데이트를 수행하는 유사한 방법을 사용합니다. 우리는 FIAT의 효과를 다양한 다국어 작업에서 평가하였으며, 100~10,000개의 훈련 예제 범위에서 FIAT가 ICL과 미세 조정 모두보다 더 나은 성능을 보임을 관찰했습니다. FIAT가 학습 패러다임 간의 어려운 선택 없이도 LLM의 전체 잠재력을 활용할 수 있는 실용적인 방법을 제공하기를 바랍니다.

English

Learning paradigms for large language models (LLMs) currently tend to fall within either in-context learning (ICL) or full fine-tuning. Each of these comes with their own trade-offs based on available data, model size, compute cost, ease-of-use, and final quality with neither solution performing well across-the-board. In this article, we first describe ICL and fine-tuning paradigms in a way that highlights their natural connections. Based on these connections, we propose a new learning paradigm called FIAT that fuses the best of these paradigms together, enabling prompt-engineered instructions and chain-of-thought reasoning with the very largest models while also using similar methods to perform parameter updates on a modestly-sized LLM with parameter-efficient tuning. We evaluate FIAT's effectiveness on a variety of multilingual tasks and observe that FIAT performs better than both ICL and fine-tuning at scales ranging from 100-10,000 training examples. We hope that FIAT provides a practical way of harnessing the full potential of LLMs without needing to make a hard choice between learning paradigms.

FIAT: 명령어 가속 튜닝과 학습 패러다임의 융합

FIAT: Fusing learning paradigms with Instruction-Accelerated Tuning

초록

Support