ChatGPT 주도 편집 지시자를 활용한 추상적 요약의 맞춤화

초록

ChatGPT와 같은 대규모 언어 모델의 출력을 특정 사용자 요구에 맞게 조정하는 것은 모델의 인상적인 생성 품질에도 불구하고 여전히 어려운 과제로 남아 있습니다. 본 논문에서는 생성된 출력의 맞춤화를 강화하기 위해 생성기, 지시자, 편집자로 구성된 삼중 에이전트 생성 파이프라인을 제안합니다. 생성기는 초기 출력을 생성하고, 사용자별 지시자는 편집 지침을 생성하며, 편집자는 사용자 선호도에 맞춰 수정된 출력을 생성합니다. 추론 전용 대규모 언어 모델(ChatGPT)은 생성기와 편집자 역할을 동시에 수행하며, 더 작은 모델은 사용자별 지시자로 작동하여 생성 과정을 사용자 요구에 맞게 유도합니다. 지시자는 대규모 편집자 모델의 피드백을 활용한 편집자 주도 강화 학습을 통해 훈련되어 지침 생성을 최적화합니다. 두 개의 요약 생성 데이터셋에서의 실험 결과는 본 접근 방식이 사용자 기대를 더 잘 충족하는 출력을 생성하는 데 효과적임을 입증합니다.

English

Tailoring outputs of large language models, such as ChatGPT, to specific user needs remains a challenge despite their impressive generation quality. In this paper, we propose a tri-agent generation pipeline consisting of a generator, an instructor, and an editor to enhance the customization of generated outputs. The generator produces an initial output, the user-specific instructor generates editing instructions, and the editor generates a revised output aligned with user preferences. The inference-only large language model (ChatGPT) serves as both the generator and the editor, while a smaller model acts as the user-specific instructor to guide the generation process toward user needs. The instructor is trained using editor-steered reinforcement learning, leveraging feedback from the large-scale editor model to optimize instruction generation. Experimental results on two abstractive summarization datasets demonstrate the effectiveness of our approach in generating outputs that better fulfill user expectations.

ChatGPT 주도 편집 지시자를 활용한 추상적 요약의 맞춤화

ChatGPT-steered Editing Instructor for Customization of Abstractive Summarization

초록

Support