По масштабируемому контролю с использованием слабых LLM для оценки сильных LLM.

On scalable oversight with weak LLMs judging strong LLMs

July 5, 2024

Авторы: Zachary Kenton, Noah Y. Siegel, János Kramár, Jonah Brown-Cohen, Samuel Albanie, Jannis Bulian, Rishabh Agarwal, David Lindner, Yunhao Tang, Noah D. Goodman, Rohin Shah

cs.AI

Аннотация

Масштабируемые протоколы надзора направлены на обеспечение возможности людям точно контролировать сверхчеловеческий искусственный интеллект. В данной статье мы изучаем дебаты, где два искусственных интеллекта соревнуются за убеждение судьи; консультации, где один искусственный интеллект пытается убедить судью, задающего вопросы; и сравниваем с базовым вариантом прямого вопросно-ответного взаимодействия, где судья сразу отвечает без участия искусственного интеллекта. Мы используем большие языковые модели (LLM) как искусственных агентов, так и заменителей человеческих судей, принимая модели судей за менее сильные по сравнению с моделями агентов. Мы проводим бенчмаркинг на разнообразном наборе асимметрий между судьями и агентами, расширяя предыдущие исследования на основе одной задачи по извлечению ответа с асимметрией информации, чтобы также включить асимметрии в математике, программировании, логике и мультимодальном рассуждении. Мы обнаружили, что дебаты превосходят консультации во всех задачах, когда консультанту случайным образом назначается доводить за правильный/неправильный ответ. При сравнении дебатов с прямым вопросно-ответным взаимодействием результаты зависят от типа задачи: в задачах извлечения ответа с асимметрией информации дебаты превосходят прямые ответы на вопросы, но в других задачах без асимметрии информации результаты разнообразны. В предыдущих работах дебатерам/консультантам назначали ответ, за который им нужно аргументировать. Когда мы позволяем им выбирать, за какой ответ аргументировать, мы обнаруживаем, что судьи менее часто убеждаются в неверном ответе в дебатах, чем в консультациях. Кроме того, мы обнаружили, что более сильные модели дебатеров повышают точность судей, хотя менее значительно, чем в предыдущих исследованиях.

English

Scalable oversight protocols aim to enable humans to accurately supervise superhuman AI. In this paper we study debate, where two AI's compete to convince a judge; consultancy, where a single AI tries to convince a judge that asks questions; and compare to a baseline of direct question-answering, where the judge just answers outright without the AI. We use large language models (LLMs) as both AI agents and as stand-ins for human judges, taking the judge models to be weaker than agent models. We benchmark on a diverse range of asymmetries between judges and agents, extending previous work on a single extractive QA task with information asymmetry, to also include mathematics, coding, logic and multimodal reasoning asymmetries. We find that debate outperforms consultancy across all tasks when the consultant is randomly assigned to argue for the correct/incorrect answer. Comparing debate to direct question answering, the results depend on the type of task: in extractive QA tasks with information asymmetry debate outperforms direct question answering, but in other tasks without information asymmetry the results are mixed. Previous work assigned debaters/consultants an answer to argue for. When we allow them to instead choose which answer to argue for, we find judges are less frequently convinced by the wrong answer in debate than in consultancy. Further, we find that stronger debater models increase judge accuracy, though more modestly than in previous studies.