대화형 시연을 통해 언어 모델이 자기 개선을 학습하도록 가르치기

초록

대형 언어 모델(LLM)의 자기 개선 능력은 모델이 자신의 출력을 분석하고 수정하도록 유도함으로써 가능해지며, 이는 최근 연구에서 상당한 관심을 받고 있습니다. 그러나 이러한 능력은 더 작은 모델에서는 존재하지 않거나 학습하기 어려운 것으로 나타나, 최첨단 LLM과 더 경제적이고 빠른 모델 간의 성능 격차를 더욱 벌어지게 하고 있습니다. 이러한 격차를 줄이기 위해, 우리는 TriPosT라는 훈련 알고리즘을 소개하며, 이 알고리즘은 더 작은 모델에 이러한 자기 개선 능력을 부여합니다. 우리의 접근 방식은 LLaMA-7b 모델의 수학 및 추론 작업 성능을 최대 7.13%까지 향상시킬 수 있음을 보여줍니다. 기존 연구와 달리, 우리는 더 작은 모델이 LLM과 상호작용하여 자신의 생성물에 대한 피드백과 개선 사항을 수집하도록 한 다음, 이 경험을 재생하여 작은 모델을 훈련시킵니다. 네 가지 수학 및 추론 데이터셋에 대한 실험 결과, 작은 모델이 자신의 실수를 학습하고 수정하는 상호작용 경험이 성능 향상에 중요한 역할을 한다는 것을 확인했습니다.

English

The self-improving ability of large language models (LLMs), enabled by prompting them to analyze and revise their own outputs, has garnered significant interest in recent research. However, this ability has been shown to be absent and difficult to learn for smaller models, thus widening the performance gap between state-of-the-art LLMs and more cost-effective and faster ones. To reduce this gap, we introduce TriPosT, a training algorithm that endows smaller models with such self-improvement ability, and show that our approach can improve a LLaMA-7b's performance on math and reasoning tasks by up to 7.13%. In contrast to prior work, we achieve this by using the smaller model to interact with LLMs to collect feedback and improvements on its own generations. We then replay this experience to train the small model. Our experiments on four math and reasoning datasets show that the interactive experience of learning from and correcting its own mistakes is crucial for small models to improve their performance.

대화형 시연을 통해 언어 모델이 자기 개선을 학습하도록 가르치기

Teaching Language Models to Self-Improve through Interactive Demonstrations

초록

Support