Sobre supervisão escalável com LLMs fracos avaliando LLMs fortes

On scalable oversight with weak LLMs judging strong LLMs

July 5, 2024

Autores: Zachary Kenton, Noah Y. Siegel, János Kramár, Jonah Brown-Cohen, Samuel Albanie, Jannis Bulian, Rishabh Agarwal, David Lindner, Yunhao Tang, Noah D. Goodman, Rohin Shah

cs.AI

Resumo

Protocolos de supervisão escaláveis têm como objetivo permitir que os humanos supervisionem com precisão a inteligência artificial super-humana. Neste artigo, estudamos o debate, no qual dois AIs competem para convencer um juiz; consultoria, onde um único AI tenta convencer um juiz que faz perguntas; e comparamos com uma linha de base de pergunta-resposta direta, na qual o juiz simplesmente responde sem rodeios ao AI. Utilizamos grandes modelos de linguagem (LLMs) tanto como agentes de AI quanto como substitutos de juízes humanos, considerando os modelos de juízes mais fracos que os modelos de agentes. Realizamos benchmarking em uma ampla gama de assimetrias entre juízes e agentes, ampliando trabalhos anteriores em uma única tarefa extrativa de pergunta-resposta com assimetria de informação, incluindo também assimetrias em matemática, programação, lógica e raciocínio multimodal. Descobrimos que o debate supera a consultoria em todas as tarefas quando o consultor é designado aleatoriamente para argumentar a favor da resposta correta/incorreta. Ao comparar o debate com a pergunta-resposta direta, os resultados dependem do tipo de tarefa: em tarefas extrativas de pergunta-resposta com assimetria de informação, o debate supera a pergunta-resposta direta, mas em outras tarefas sem assimetria de informação, os resultados são mistos. Trabalhos anteriores designaram aos debatedores/consultores uma resposta para argumentar. Quando permitimos que escolham qual resposta argumentar, descobrimos que os juízes são menos frequentemente convencidos pela resposta errada no debate do que na consultoria. Além disso, observamos que modelos de debatedores mais fortes aumentam a precisão dos juízes, embora de forma mais modesta do que em estudos anteriores.

English

Scalable oversight protocols aim to enable humans to accurately supervise superhuman AI. In this paper we study debate, where two AI's compete to convince a judge; consultancy, where a single AI tries to convince a judge that asks questions; and compare to a baseline of direct question-answering, where the judge just answers outright without the AI. We use large language models (LLMs) as both AI agents and as stand-ins for human judges, taking the judge models to be weaker than agent models. We benchmark on a diverse range of asymmetries between judges and agents, extending previous work on a single extractive QA task with information asymmetry, to also include mathematics, coding, logic and multimodal reasoning asymmetries. We find that debate outperforms consultancy across all tasks when the consultant is randomly assigned to argue for the correct/incorrect answer. Comparing debate to direct question answering, the results depend on the type of task: in extractive QA tasks with information asymmetry debate outperforms direct question answering, but in other tasks without information asymmetry the results are mixed. Previous work assigned debaters/consultants an answer to argue for. When we allow them to instead choose which answer to argue for, we find judges are less frequently convinced by the wrong answer in debate than in consultancy. Further, we find that stronger debater models increase judge accuracy, though more modestly than in previous studies.