マルチエキスパートプロンプティングは、大規模言語モデルの信頼性、安全性、および有用性を向上させます。

Multi-expert Prompting Improves Reliability, Safety, and Usefulness of Large Language Models

November 1, 2024

著者: Do Xuan Long, Duong Ngoc Yen, Anh Tuan Luu, Kenji Kawaguchi, Min-Yen Kan, Nancy F. Chen

cs.AI

要旨

私たちは、大規模言語モデル（LLM）の生成を改善するために設計されたExpertPromptingの新しい拡張であるMulti-expert Promptingを提案します（Xuら、2023）。具体的には、複数の専門家をシミュレートし、その回答を集約し、個々の回答および集約された回答の中から最良のものを選択することで、LLMに入力指示を達成させるように誘導します。このプロセスは、Nominal Group Technique（Ven and Delbecq、1974）から派生した7つの慎重に設計されたサブタスクを通じて、一連の思考の中で実行されます。これは、確立された意思決定フレームワークであるNominal Group Technique（Ven and Delbecq、1974）から派生した7つの慎重に設計されたサブタスクを通じて行われます。私たちの評価は、Multi-expert Promptingが、回答の真実性、事実性、情報量、有用性を向上させると同時に、有害性と攻撃性を減少させる点で、ExpertPromptingおよび比較対象のベースラインを大幅に上回ることを示しています。さらに、ChatGPTを使用して、最高のベースラインを8.69%上回ることで、最先端の真実性を達成しています。Multi-expert Promptingは効率的で説明可能であり、多様なシナリオに高度に適応可能であり、手動のプロンプト構築の必要性を排除します。

English

We present Multi-expert Prompting, a novel enhancement of ExpertPrompting (Xu et al., 2023), designed to improve the large language model (LLM) generation. Specifically, it guides an LLM to fulfill an input instruction by simulating multiple experts, aggregating their responses, and selecting the best among individual and aggregated responses. This process is performed in a single chain of thoughts through our seven carefully designed subtasks derived from the Nominal Group Technique (Ven and Delbecq, 1974), a well-established decision-making framework. Our evaluations demonstrate that Multi-expert Prompting significantly outperforms ExpertPrompting and comparable baselines in enhancing the truthfulness, factuality, informativeness, and usefulness of responses while reducing toxicity and hurtfulness. It further achieves state-of-the-art truthfulness by outperforming the best baseline by 8.69% with ChatGPT. Multi-expert Prompting is efficient, explainable, and highly adaptable to diverse scenarios, eliminating the need for manual prompt construction.