Sur la supervision scalable avec des LLM faibles évaluant des LLM puissants

On scalable oversight with weak LLMs judging strong LLMs

July 5, 2024

Auteurs: Zachary Kenton, Noah Y. Siegel, János Kramár, Jonah Brown-Cohen, Samuel Albanie, Jannis Bulian, Rishabh Agarwal, David Lindner, Yunhao Tang, Noah D. Goodman, Rohin Shah

cs.AI

Résumé

Les protocoles de supervision scalable visent à permettre aux humains de superviser avec précision des IA surhumaines. Dans cet article, nous étudions le débat, où deux IA rivalisent pour convaincre un juge ; le conseil, où une seule IA tente de convaincre un juge qui pose des questions ; et nous comparons ces approches à une base de référence de réponse directe aux questions, où le juge répond directement sans l'intervention de l'IA. Nous utilisons des modèles de langage de grande taille (LLMs) à la fois comme agents IA et comme substituts de juges humains, en considérant que les modèles de juges sont moins performants que les modèles d'agents. Nous évaluons ces approches sur une gamme variée d'asymétries entre juges et agents, étendant les travaux précédents qui se concentraient sur une seule tâche de question-réponse extractive avec asymétrie d'information, pour inclure également les asymétries en mathématiques, en codage, en logique et en raisonnement multimodal. Nous constatons que le débat surpasse le conseil dans toutes les tâches lorsque le consultant est assigné aléatoirement à défendre une réponse correcte ou incorrecte. En comparant le débat à la réponse directe aux questions, les résultats dépendent du type de tâche : dans les tâches de question-réponse extractive avec asymétrie d'information, le débat surpasse la réponse directe, mais dans d'autres tâches sans asymétrie d'information, les résultats sont mitigés. Les travaux précédents assignaient aux débateurs/conseillers une réponse à défendre. Lorsque nous leur permettons de choisir quelle réponse défendre, nous constatons que les juges sont moins souvent convaincus par la mauvaise réponse dans le débat que dans le conseil. De plus, nous observons que des modèles de débateurs plus performants augmentent la précision des juges, bien que de manière plus modeste que dans les études précédentes.

English

Scalable oversight protocols aim to enable humans to accurately supervise superhuman AI. In this paper we study debate, where two AI's compete to convince a judge; consultancy, where a single AI tries to convince a judge that asks questions; and compare to a baseline of direct question-answering, where the judge just answers outright without the AI. We use large language models (LLMs) as both AI agents and as stand-ins for human judges, taking the judge models to be weaker than agent models. We benchmark on a diverse range of asymmetries between judges and agents, extending previous work on a single extractive QA task with information asymmetry, to also include mathematics, coding, logic and multimodal reasoning asymmetries. We find that debate outperforms consultancy across all tasks when the consultant is randomly assigned to argue for the correct/incorrect answer. Comparing debate to direct question answering, the results depend on the type of task: in extractive QA tasks with information asymmetry debate outperforms direct question answering, but in other tasks without information asymmetry the results are mixed. Previous work assigned debaters/consultants an answer to argue for. When we allow them to instead choose which answer to argue for, we find judges are less frequently convinced by the wrong answer in debate than in consultancy. Further, we find that stronger debater models increase judge accuracy, though more modestly than in previous studies.