優れたモデルは似たように考えるため、これがAI監督を弱体化させる

Great Models Think Alike and this Undermines AI Oversight

February 6, 2025

著者: Shashwat Goel, Joschka Struber, Ilze Amanda Auzina, Karuna K Chandra, Ponnurangam Kumaraguru, Douwe Kiela, Ameya Prabhu, Matthias Bethge, Jonas Geiping

cs.AI

要旨

言語モデル（LM）の能力が向上するにつれて、人間にとっては規模の大きな評価や監督が困難になっています。他の言語モデルがこれらのタスクを自動化できる可能性があり、これを「AI監督」と呼んでいます。本研究では、モデルの類似性がAI監督の両側面にどのように影響するかを検討し、モデルの間違いの重複に基づくLM類似性の確率メトリックを提案しています。このメトリックを用いて、まずLLM-判定スコアが、判定モデルに類似したモデルを好むことを示し、最近の自己選好結果を一般化しています。次に、LM注釈のトレーニングを研究し、弱い監督者と強い学習モデルの間の補完的な知識が「弱から強への一般化」の利益に重要な役割を果たすことを見つけました。モデルの能力が向上するにつれて、彼らの間違いを見つけることが難しくなり、AI監督により多く依存する可能性があります。しかし、懸念すべき傾向を観察しています―モデルの間違いが能力の向上とともにより類似しており、相関した失敗からのリスクが指摘されています。私たちの研究は、特にAI監督の新興パラダイムにおいて、モデルの類似性の報告と修正の重要性を強調しています。

English

As Language Model (LM) capabilities advance, evaluating and supervising them at scale is getting harder for humans. There is hope that other language models can automate both these tasks, which we refer to as "AI Oversight". We study how model similarity affects both aspects of AI oversight by proposing a probabilistic metric for LM similarity based on overlap in model mistakes. Using this metric, we first show that LLM-as-a-judge scores favor models similar to the judge, generalizing recent self-preference results. Then, we study training on LM annotations, and find complementary knowledge between the weak supervisor and strong student model plays a crucial role in gains from "weak-to-strong generalization". As model capabilities increase, it becomes harder to find their mistakes, and we might defer more to AI oversight. However, we observe a concerning trend -- model mistakes are becoming more similar with increasing capabilities, pointing to risks from correlated failures. Our work underscores the importance of reporting and correcting for model similarity, especially in the emerging paradigm of AI oversight.