Bei skalierbarer Aufsicht mit schwachen LLMs, die starke LLMs bewerten.

On scalable oversight with weak LLMs judging strong LLMs

July 5, 2024

Autoren: Zachary Kenton, Noah Y. Siegel, János Kramár, Jonah Brown-Cohen, Samuel Albanie, Jannis Bulian, Rishabh Agarwal, David Lindner, Yunhao Tang, Noah D. Goodman, Rohin Shah

cs.AI

Zusammenfassung

Skalierbare Aufsichtsprotokolle zielen darauf ab, es Menschen zu ermöglichen, übermenschliche KI genau zu überwachen. In diesem Papier untersuchen wir Debatten, bei denen zwei KIs um die Überzeugung eines Richters konkurrieren; Beratung, bei der eine einzelne KI versucht, einen Richter zu überzeugen, der Fragen stellt; und vergleichen dies mit einem Baseline-Modell direkter Frage-Antwort, bei dem der Richter einfach direkt antwortet, ohne die KI. Wir verwenden große Sprachmodelle (LLMs) sowohl als KI-Agenten als auch als Stellvertreter für menschliche Richter, wobei wir die Richtermodelle als schwächer als die Agentenmodelle ansehen. Wir führen Benchmarktests an einer Vielzahl von Asymmetrien zwischen Richtern und Agenten durch, die über bisherige Arbeiten an einer einzigen extraktiven QA-Aufgabe mit Informationsasymmetrie hinausgehen, um auch Mathematik, Codierung, Logik und multimodale Denkasymmetrien einzubeziehen. Wir stellen fest, dass Debatten bei allen Aufgaben besser abschneiden als Beratungen, wenn dem Berater zufällig die Argumentation für die richtige/falsche Antwort zugewiesen wird. Beim Vergleich von Debatten mit direkter Fragebeantwortung hängen die Ergebnisse vom Typ der Aufgabe ab: Bei extraktiven QA-Aufgaben mit Informationsasymmetrie schneiden Debatten besser ab als direkte Fragebeantwortung, aber bei anderen Aufgaben ohne Informationsasymmetrie sind die Ergebnisse gemischt. In früheren Arbeiten wurde den Debattierern/Beratern eine Antwort zugewiesen, für die sie argumentieren sollten. Wenn wir ihnen stattdessen erlauben, selbst zu wählen, für welche Antwort sie argumentieren möchten, stellen wir fest, dass Richter in Debatten seltener von der falschen Antwort überzeugt werden als in Beratungen. Darüber hinaus stellen wir fest, dass stärkere Debattiermodelle die Richtergenauigkeit erhöhen, wenn auch weniger stark als in früheren Studien.

English

Scalable oversight protocols aim to enable humans to accurately supervise superhuman AI. In this paper we study debate, where two AI's compete to convince a judge; consultancy, where a single AI tries to convince a judge that asks questions; and compare to a baseline of direct question-answering, where the judge just answers outright without the AI. We use large language models (LLMs) as both AI agents and as stand-ins for human judges, taking the judge models to be weaker than agent models. We benchmark on a diverse range of asymmetries between judges and agents, extending previous work on a single extractive QA task with information asymmetry, to also include mathematics, coding, logic and multimodal reasoning asymmetries. We find that debate outperforms consultancy across all tasks when the consultant is randomly assigned to argue for the correct/incorrect answer. Comparing debate to direct question answering, the results depend on the type of task: in extractive QA tasks with information asymmetry debate outperforms direct question answering, but in other tasks without information asymmetry the results are mixed. Previous work assigned debaters/consultants an answer to argue for. When we allow them to instead choose which answer to argue for, we find judges are less frequently convinced by the wrong answer in debate than in consultancy. Further, we find that stronger debater models increase judge accuracy, though more modestly than in previous studies.