Sulla supervisione scalabile con modelli linguistici deboli che giudicano modelli linguistici forti

On scalable oversight with weak LLMs judging strong LLMs

July 5, 2024

Autori: Zachary Kenton, Noah Y. Siegel, János Kramár, Jonah Brown-Cohen, Samuel Albanie, Jannis Bulian, Rishabh Agarwal, David Lindner, Yunhao Tang, Noah D. Goodman, Rohin Shah

cs.AI

Abstract

I protocolli di supervisione scalabile mirano a consentire agli esseri umani di monitorare con precisione l'intelligenza artificiale (IA) superumana. In questo articolo studiamo il dibattito, in cui due IA competono per convincere un giudice; la consulenza, in cui una singola IA cerca di convincere un giudice che pone domande; e confrontiamo questi approcci con una baseline di risposta diretta alle domande, in cui il giudice risponde direttamente senza l'intervento dell'IA. Utilizziamo modelli linguistici di grandi dimensioni (LLM) sia come agenti IA sia come sostituti di giudici umani, considerando i modelli giudice più deboli rispetto ai modelli agente. Eseguiamo benchmark su un'ampia gamma di asimmetrie tra giudici e agenti, estendendo il lavoro precedente su un singolo compito di QA estrattivo con asimmetria informativa, per includere anche asimmetrie in matematica, programmazione, logica e ragionamento multimodale. Scopriamo che il dibattito supera la consulenza in tutti i compiti quando il consulente è assegnato casualmente a sostenere la risposta corretta/errata. Confrontando il dibattito con la risposta diretta alle domande, i risultati dipendono dal tipo di compito: nei compiti di QA estrattivo con asimmetria informativa, il dibattito supera la risposta diretta, ma in altri compiti senza asimmetria informativa i risultati sono contrastanti. Il lavoro precedente assegnava ai debater/consulenti una risposta da sostenere. Quando permettiamo loro invece di scegliere quale risposta sostenere, scopriamo che i giudici sono meno frequentemente convinti dalla risposta errata nel dibattito rispetto alla consulenza. Inoltre, osserviamo che modelli debater più forti aumentano l'accuratezza del giudice, sebbene in modo più modesto rispetto agli studi precedenti.

English

Scalable oversight protocols aim to enable humans to accurately supervise superhuman AI. In this paper we study debate, where two AI's compete to convince a judge; consultancy, where a single AI tries to convince a judge that asks questions; and compare to a baseline of direct question-answering, where the judge just answers outright without the AI. We use large language models (LLMs) as both AI agents and as stand-ins for human judges, taking the judge models to be weaker than agent models. We benchmark on a diverse range of asymmetries between judges and agents, extending previous work on a single extractive QA task with information asymmetry, to also include mathematics, coding, logic and multimodal reasoning asymmetries. We find that debate outperforms consultancy across all tasks when the consultant is randomly assigned to argue for the correct/incorrect answer. Comparing debate to direct question answering, the results depend on the type of task: in extractive QA tasks with information asymmetry debate outperforms direct question answering, but in other tasks without information asymmetry the results are mixed. Previous work assigned debaters/consultants an answer to argue for. When we allow them to instead choose which answer to argue for, we find judges are less frequently convinced by the wrong answer in debate than in consultancy. Further, we find that stronger debater models increase judge accuracy, though more modestly than in previous studies.