Over schaalbare toezicht met zwakke LLM's die sterke LLM's beoordelen

Samenvatting

Schaalbare toezichtsprotocollen hebben als doel om mensen in staat te stellen supermenselijke AI nauwkeurig te begeleiden. In dit artikel bestuderen we debat, waarbij twee AI's strijden om een rechter te overtuigen; consultatie, waarbij een enkele AI probeert een rechter die vragen stelt te overtuigen; en vergelijken we dit met een baseline van directe vraag-beantwoording, waarbij de rechter rechtstreeks antwoordt zonder de AI. We gebruiken grote taalmodelen (LLM's) zowel als AI-agents als als plaatsvervangers voor menselijke rechters, waarbij we de rechtermodellen zwakker nemen dan de agentmodellen. We benchmarken op een diverse reeks asymmetrieën tussen rechters en agents, waarbij we eerder werk over een enkele extractieve QA-taak met informatie-asymmetrie uitbreiden naar ook wiskunde, programmeren, logica en multimodale redeneerasymmetrieën. We ontdekken dat debat consultatie overtreft bij alle taken wanneer de consultant willekeurig wordt toegewezen om voor het juiste/onjuiste antwoord te pleiten. Bij het vergelijken van debat met directe vraag-beantwoording hangen de resultaten af van het type taak: bij extractieve QA-taken met informatie-asymmetrie presteert debat beter dan directe vraag-beantwoording, maar bij andere taken zonder informatie-asymmetrie zijn de resultaten gemengd. Eerder werk wees debaters/consultants een antwoord toe om voor te pleiten. Wanneer we hen in plaats daarvan laten kiezen voor welk antwoord ze willen pleiten, ontdekken we dat rechters minder vaak door het verkeerde antwoord worden overtuigd in debat dan in consultatie. Verder vinden we dat sterkere debatmodellen de nauwkeurigheid van de rechter verhogen, zij het bescheidener dan in eerdere studies.

English

Scalable oversight protocols aim to enable humans to accurately supervise superhuman AI. In this paper we study debate, where two AI's compete to convince a judge; consultancy, where a single AI tries to convince a judge that asks questions; and compare to a baseline of direct question-answering, where the judge just answers outright without the AI. We use large language models (LLMs) as both AI agents and as stand-ins for human judges, taking the judge models to be weaker than agent models. We benchmark on a diverse range of asymmetries between judges and agents, extending previous work on a single extractive QA task with information asymmetry, to also include mathematics, coding, logic and multimodal reasoning asymmetries. We find that debate outperforms consultancy across all tasks when the consultant is randomly assigned to argue for the correct/incorrect answer. Comparing debate to direct question answering, the results depend on the type of task: in extractive QA tasks with information asymmetry debate outperforms direct question answering, but in other tasks without information asymmetry the results are mixed. Previous work assigned debaters/consultants an answer to argue for. When we allow them to instead choose which answer to argue for, we find judges are less frequently convinced by the wrong answer in debate than in consultancy. Further, we find that stronger debater models increase judge accuracy, though more modestly than in previous studies.

Over schaalbare toezicht met zwakke LLM's die sterke LLM's beoordelen

On scalable oversight with weak LLMs judging strong LLMs

Samenvatting

Support