スケーラブルな監視における、弱いLLMが強いLLMを評価する手法について

On scalable oversight with weak LLMs judging strong LLMs

July 5, 2024

著者: Zachary Kenton, Noah Y. Siegel, János Kramár, Jonah Brown-Cohen, Samuel Albanie, Jannis Bulian, Rishabh Agarwal, David Lindner, Yunhao Tang, Noah D. Goodman, Rohin Shah

cs.AI

要旨

スケーラブルな監視プロトコルは、人間が超人的なAIを正確に監督できるようにすることを目指している。本論文では、2つのAIが裁判官を説得しようと競う「ディベート」、単一のAIが質問をする裁判官を説得しようとする「コンサルティング」、そしてAIなしで裁判官が直接質問に答える「直接質問応答」のベースラインを比較する。我々は大規模言語モデル（LLM）をAIエージェントと人間の裁判官の代役として使用し、裁判官モデルをエージェントモデルよりも弱く設定した。裁判官とエージェントの間の多様な非対称性についてベンチマークを行い、情報非対称性を持つ単一の抽出型QAタスクに関する以前の研究を拡張して、数学、コーディング、論理、マルチモーダル推論の非対称性も含めた。コンサルタントが正しい/間違った答えを主張するためにランダムに割り当てられた場合、ディベートはすべてのタスクでコンサルティングを上回ることがわかった。ディベートと直接質問応答を比較すると、結果はタスクの種類によって異なる：情報非対称性を持つ抽出型QAタスクではディベートが直接質問応答を上回るが、情報非対称性のない他のタスクでは結果が混在する。以前の研究では、ディベーター/コンサルタントに主張する答えを割り当てていた。我々が彼らに代わりにどの答えを主張するかを選択させた場合、裁判官が間違った答えに説得される頻度は、ディベートよりもコンサルティングの方が低いことがわかった。さらに、より強力なディベーターモデルは裁判官の精度を向上させるが、以前の研究よりも控えめな効果であることがわかった。

English

Scalable oversight protocols aim to enable humans to accurately supervise superhuman AI. In this paper we study debate, where two AI's compete to convince a judge; consultancy, where a single AI tries to convince a judge that asks questions; and compare to a baseline of direct question-answering, where the judge just answers outright without the AI. We use large language models (LLMs) as both AI agents and as stand-ins for human judges, taking the judge models to be weaker than agent models. We benchmark on a diverse range of asymmetries between judges and agents, extending previous work on a single extractive QA task with information asymmetry, to also include mathematics, coding, logic and multimodal reasoning asymmetries. We find that debate outperforms consultancy across all tasks when the consultant is randomly assigned to argue for the correct/incorrect answer. Comparing debate to direct question answering, the results depend on the type of task: in extractive QA tasks with information asymmetry debate outperforms direct question answering, but in other tasks without information asymmetry the results are mixed. Previous work assigned debaters/consultants an answer to argue for. When we allow them to instead choose which answer to argue for, we find judges are less frequently convinced by the wrong answer in debate than in consultancy. Further, we find that stronger debater models increase judge accuracy, though more modestly than in previous studies.