Flacuna: FLAN 미세 조정을 통해 Vicuna의 문제 해결 능력 극대화

초록

최근 INSTRUCTEVAL의 출시는 인코더-디코더 또는 디코더 전용 아키텍처를 활용하는 대형 언어 모델(LLM)의 성능에 대한 유용한 통찰력을 제공하였다. 흥미롭게도, 4년 전에 소개된 T5 기반 LLM들, 예를 들어 FLAN-T5는 일반적인 문제 해결 능력을 요구하는 작업에서 최신 디코더 기반 LLM들인 LLAMA와 VICUNA를 계속해서 능가하고 있다. 이러한 성능 차이는 세 가지 주요 요인으로 설명될 수 있다: (1) 사전 학습 데이터, (2) 백본 아키텍처, (3) 명령어 데이터셋. 본 기술 보고서에서는 세 번째 요인의 영향을 조사하는 데 주력하며, 이를 위해 ChatGPT 대화를 기반으로 미세 조정된 LLAMA 기반의 대형 언어 모델인 VICUNA를 활용하였다. 이 목표를 달성하기 위해, 우리는 FLANMINI라는 맞춤형 명령어 데이터셋 컬렉션을 사용하여 VICUNA를 미세 조정하였다. 이 컬렉션은 대규모 명령어 데이터셋인 FLAN의 하위 집합과 다양한 코드 관련 데이터셋, 그리고 ChatGPT/GPT-4에서 파생된 대화 데이터셋을 포함한다. 이 데이터셋은 문제 해결 능력을 요구하는 다수의 작업으로 구성되어 있다. 우리의 실험 결과는 FLAN 데이터셋을 통해 미세 조정된 VICUNA 모델인 FLACUNA의 향상된 문제 해결 능력이 INSTRUCTEVAL의 다양한 벤치마크 데이터셋에서 상당한 개선을 이끌어냈음을 강력히 시사한다. FLACUNA는 https://huggingface.co/declare-lab/flacuna-13b-v1.0에서 공개적으로 이용 가능하다.

English

Recently, the release of INSTRUCTEVAL has provided valuable insights into the performance of large language models (LLMs) that utilize encoder-decoder or decoder-only architecture. Interestingly, despite being introduced four years ago, T5-based LLMs, such as FLAN-T5, continue to outperform the latest decoder-based LLMs, such as LLAMA and VICUNA, on tasks that require general problem-solving skills. This performance discrepancy can be attributed to three key factors: (1) Pre-training data, (2) Backbone architecture, and (3) Instruction dataset. In this technical report, our main focus is on investigating the impact of the third factor by leveraging VICUNA, a large language model based on LLAMA, which has undergone fine-tuning on ChatGPT conversations. To achieve this objective, we fine-tuned VICUNA using a customized instruction dataset collection called FLANMINI. This collection includes a subset of the large-scale instruction dataset known as FLAN, as well as various code-related datasets and conversational datasets derived from ChatGPT/GPT-4. This dataset comprises a large number of tasks that demand problem-solving skills. Our experimental findings strongly indicate that the enhanced problem-solving abilities of our model, FLACUNA, are obtained through fine-tuning VICUNA on the FLAN dataset, leading to significant improvements across numerous benchmark datasets in INSTRUCTEVAL. FLACUNA is publicly available at https://huggingface.co/declare-lab/flacuna-13b-v1.0.

Flacuna: FLAN 미세 조정을 통해 Vicuna의 문제 해결 능력 극대화

Flacuna: Unleashing the Problem Solving Power of Vicuna using FLAN Fine-Tuning

초록

Support