Sobre la supervisión escalable con LLMs débiles juzgando LLMs fuertes.

On scalable oversight with weak LLMs judging strong LLMs

July 5, 2024

Autores: Zachary Kenton, Noah Y. Siegel, János Kramár, Jonah Brown-Cohen, Samuel Albanie, Jannis Bulian, Rishabh Agarwal, David Lindner, Yunhao Tang, Noah D. Goodman, Rohin Shah

cs.AI

Resumen

Los protocolos de supervisión escalables tienen como objetivo permitir a los humanos supervisar con precisión una IA superhumana. En este documento estudiamos el debate, donde dos IA compiten para convencer a un juez; la consultoría, donde una sola IA intenta convencer a un juez que hace preguntas; y comparamos con una línea base de pregunta-respuesta directa, donde el juez responde directamente sin la IA. Utilizamos grandes modelos de lenguaje (LLMs) tanto como agentes de IA como sustitutos de jueces humanos, considerando que los modelos de jueces son más débiles que los modelos de agentes. Realizamos pruebas en una amplia gama de asimetrías entre jueces y agentes, ampliando trabajos anteriores en una única tarea extractiva de pregunta-respuesta con asimetría de información, para incluir también asimetrías en matemáticas, codificación, lógica y razonamiento multimodal. Descubrimos que el debate supera a la consultoría en todas las tareas cuando al consultor se le asigna aleatoriamente argumentar a favor de la respuesta correcta/incorrecta. Al comparar el debate con la respuesta directa a preguntas, los resultados dependen del tipo de tarea: en tareas extractivas de pregunta-respuesta con asimetría de información, el debate supera a la respuesta directa a preguntas, pero en otras tareas sin asimetría de información, los resultados son mixtos. Trabajos anteriores asignaron respuestas a favor de las cuales debatir a los debatientes/consultores. Cuando les permitimos elegir qué respuesta argumentar, descubrimos que los jueces son convencidos menos frecuentemente por la respuesta incorrecta en el debate que en la consultoría. Además, observamos que modelos de debatientes más sólidos aumentan la precisión de los jueces, aunque de manera más modesta que en estudios anteriores.

English

Scalable oversight protocols aim to enable humans to accurately supervise superhuman AI. In this paper we study debate, where two AI's compete to convince a judge; consultancy, where a single AI tries to convince a judge that asks questions; and compare to a baseline of direct question-answering, where the judge just answers outright without the AI. We use large language models (LLMs) as both AI agents and as stand-ins for human judges, taking the judge models to be weaker than agent models. We benchmark on a diverse range of asymmetries between judges and agents, extending previous work on a single extractive QA task with information asymmetry, to also include mathematics, coding, logic and multimodal reasoning asymmetries. We find that debate outperforms consultancy across all tasks when the consultant is randomly assigned to argue for the correct/incorrect answer. Comparing debate to direct question answering, the results depend on the type of task: in extractive QA tasks with information asymmetry debate outperforms direct question answering, but in other tasks without information asymmetry the results are mixed. Previous work assigned debaters/consultants an answer to argue for. When we allow them to instead choose which answer to argue for, we find judges are less frequently convinced by the wrong answer in debate than in consultancy. Further, we find that stronger debater models increase judge accuracy, though more modestly than in previous studies.