AIフィードバックからの学習における「憲法」の役割を評価する

Evaluating the role of `Constitutions' for learning from AI feedback

November 15, 2024

著者: Saskia Redgate, Andrew M. Bean, Adam Mahdi

cs.AI

要旨

大規模言語モデル（LLMs）の能力向上により、これらは他のLLMsのトレーニングや評価のために人間のフィードバックの代替手段として使用されるようになりました。これらの手法は、評論モデルがフィードバックを提供し、生成物を改善するために使用するガイドラインである「憲法」に頼ることがよくあります。私たちは、医療面談における患者中心のコミュニケーションを向上させるために、4つの異なる憲法を使用して、憲法の選択がフィードバックの質にどのように影響するかを調査しました。215人の人間の評価者による対照的な比較で、詳細な憲法が感情的な質に関してより良い結果をもたらすことがわかりました。しかし、情報収集と提供に関連するより実践的なスキルの学習において、どの憲法もベースラインを上回ることはありませんでした。私たちの調査結果は、詳細な憲法を優先すべきである一方、特定の分野においてAIフィードバックの効果には制限がある可能性があることを示しています。

English

The growing capabilities of large language models (LLMs) have led to their use as substitutes for human feedback for training and assessing other LLMs. These methods often rely on `constitutions', written guidelines which a critic model uses to provide feedback and improve generations. We investigate how the choice of constitution affects feedback quality by using four different constitutions to improve patient-centered communication in medical interviews. In pairwise comparisons conducted by 215 human raters, we found that detailed constitutions led to better results regarding emotive qualities. However, none of the constitutions outperformed the baseline in learning more practically-oriented skills related to information gathering and provision. Our findings indicate that while detailed constitutions should be prioritised, there are possible limitations to the effectiveness of AI feedback as a reward signal in certain areas.