TCIA: 지시어 미세조정을 위한 과제 중심 지시어 증강 기법

초록

다양한 명령어 데이터는 대규모 언어 모델의 효과적인 명령어 튜닝에 필수적이며, 이를 통해 모델이 다양한 유형의 입력에 대해 일반화할 수 있게 합니다. 이러한 다양화된 명령어 데이터셋을 구축하는 것은 이 과정에서 핵심적인 단계입니다. 기존 접근 방식은 대규모 언어 모델을 활용하여 자동으로 다양한 명령어를 탐색하고 생성함으로써 데이터의 다양성과 품질을 보장합니다. 그러나 이러한 방식은 실제 응용에서 중요한 요소인 작업 관련성을 간과하는 경향이 있습니다. 실제로, 진정한 범용 모델을 요구하는 응용은 극소수이며, 대부분은 특정 사용 사례에 맞춘 작업 중심 지식을 활용할 때 더 큰 이점을 얻습니다. 따라서 다양성을 유지하면서도 특정 실제 시나리오에 최적화된 명령어 증강 방법을 개발하는 것이 중요합니다. 이에 따라 우리는 작업 중심 명령어 증강(Task Centric Instruction Augmentation, TCIA) 프레임워크를 소개합니다. 이 프레임워크는 다양성과 작업 정렬을 모두 유지하면서 명령어를 체계적으로 확장합니다. TCIA는 명령어를 이산적인 쿼리-제약 공간으로 표현함으로써 작업과 관련된 풍부한 명령어 집합을 생성하고, 모델이 전반적인 성능을 저하시키지 않으면서도 이러한 작업 특화 명령어에 일반화할 수 있도록 합니다. 실험 결과, TCIA는 오픈소스 대규모 언어 모델의 성능을 네 가지 실제 작업 중심 응용에서 평균 8.7% 향상시켰으며, 일부 경우에서는 선도적인 클로즈드소스 모델을 능가하기도 했습니다. 이러한 성능 향상은 일반적인 명령어 수행 능력을 저하시키지 않으므로, TCIA는 대규모 언어 모델을 실제 작업 중심 응용에 적응시키기 위한 확장 가능하고 효율적인 솔루션입니다.

English

Diverse instruction data is vital for effective instruction tuning of large language models, as it enables the model to generalize across different types of inputs . Building such diversified instruction dataset is an essential step in this process. Existing approaches often leverage large language models to automatically explore and generate diverse instructions, ensuring both data diversity and quality. However, they tend to overlook an important factor in real-world applications: on-task relevance. In practice, only a few real-world applications require a truly general-purpose model; most benefit from task-specific knowledge tailored to their particular use case. Therefore, it is vital to develop instruction augmentation methods that not only maintain diversity but are also optimized for specific, real-world scenarios. We thus introduce Task Centric Instruction Augmentation (TCIA), a framework that systematically expands instructions while preserving both diversity and task alignment. By representing instructions in a discrete query-constraints space, TCIA creates a rich set of task-relevant instructions and enables models to generalize to these task-specific instructions without sacrificing overall performance. Experiments show that TCIA improves open-source LLMs' performance by an average of 8.7% across four real-world, task-specific applications, and in some cases outperforming leading closed-source models. These improvements do not compromise general instruction-following ability, making TCIA a scalable and efficient solution for adapting LLMs to real-world, task-focused applications.

TCIA: 지시어 미세조정을 위한 과제 중심 지시어 증강 기법

TCIA: A Task-Centric Instruction Augmentation Method for Instruction Finetuning

초록

Support