Декомпозиция учебной задачи для помощи людям в соревновательном программировании
Learning Task Decomposition to Assist Humans in Competitive Programming
June 7, 2024
Авторы: Jiaxin Wen, Ruiqi Zhong, Pei Ke, Zhihong Shao, Hongning Wang, Minlie Huang
cs.AI
Аннотация
При использовании языковых моделей (LMs) для решения сложных задач люди могут испытывать затруднения с пониманием решений, сгенерированных LM, и исправлением недостатков. Для помощи людям в их исправлении мы предлагаем автоматически декомпозировать сложные решения на несколько более простых частей, соответствующих конкретным подзадачам. Мы предлагаем новую цель для обучения декомпозиции задач, называемую помощническая ценность (AssistV), которая измеряет возможность и скорость для людей восстановить декомпозированное решение. Мы собрали набор данных из опыта людей по исправлению различных декомпозированных решений. Используя собранные данные как примеры в контексте, мы затем учимся критиковать, улучшать и ранжировать декомпозированные решения для улучшения AssistV. Мы проверяем наш метод на примере задач конкурсного программирования: в течение 177 часов исследования с участием людей наш метод позволяет неспециалистам решать на 33.3\% больше задач, ускоряет их в 3.3 раза и позволяет им сравняться с экспертами без помощи.
English
When using language models (LMs) to solve complex problems, humans might
struggle to understand the LM-generated solutions and repair the flawed ones.
To assist humans in repairing them, we propose to automatically decompose
complex solutions into multiple simpler pieces that correspond to specific
subtasks. We introduce a novel objective for learning task decomposition,
termed assistive value (AssistV), which measures the feasibility and speed for
humans to repair the decomposed solution. We collect a dataset of human repair
experiences on different decomposed solutions. Utilizing the collected data as
in-context examples, we then learn to critique, refine, and rank decomposed
solutions to improve AssistV. We validate our method under competitive
programming problems: under 177 hours of human study, our method enables
non-experts to solve 33.3\% more problems, speeds them up by 3.3x, and empowers
them to match unassisted experts.