ChatGPT主導の編集インストラクターによる抽象的要約のカスタマイズ

要旨

ChatGPTのような大規模言語モデルの出力を特定のユーザーニーズに合わせて調整することは、その高い生成品質にもかかわらず依然として課題となっている。本論文では、生成出力のカスタマイズを強化するため、ジェネレータ、インストラクタ、エディタからなる3エージェント生成パイプラインを提案する。ジェネレータが初期出力を生成し、ユーザー固有のインストラクタが編集指示を生成し、エディタがユーザーの好みに沿った修正出力を生成する。推論専用の大規模言語モデル（ChatGPT）はジェネレータとエディタの両方として機能し、より小規模なモデルがユーザー固有のインストラクタとして生成プロセスをユーザーニーズに向けて誘導する。インストラクタは、大規模エディタモデルからのフィードバックを活用したエディタ主導の強化学習を用いて訓練され、指示生成を最適化する。2つの要約データセットを用いた実験結果は、本アプローチがユーザーの期待をより良く満たす出力を生成する上で有効であることを示している。

English

Tailoring outputs of large language models, such as ChatGPT, to specific user needs remains a challenge despite their impressive generation quality. In this paper, we propose a tri-agent generation pipeline consisting of a generator, an instructor, and an editor to enhance the customization of generated outputs. The generator produces an initial output, the user-specific instructor generates editing instructions, and the editor generates a revised output aligned with user preferences. The inference-only large language model (ChatGPT) serves as both the generator and the editor, while a smaller model acts as the user-specific instructor to guide the generation process toward user needs. The instructor is trained using editor-steered reinforcement learning, leveraging feedback from the large-scale editor model to optimize instruction generation. Experimental results on two abstractive summarization datasets demonstrate the effectiveness of our approach in generating outputs that better fulfill user expectations.

ChatGPT主導の編集インストラクターによる抽象的要約のカスタマイズ

ChatGPT-steered Editing Instructor for Customization of Abstractive Summarization

要旨

Support