Apprendimento della scomposizione dei compiti per assistere gli esseri umani nella programmazione competitiva

Learning Task Decomposition to Assist Humans in Competitive Programming

June 7, 2024

Autori: Jiaxin Wen, Ruiqi Zhong, Pei Ke, Zhihong Shao, Hongning Wang, Minlie Huang

cs.AI

Abstract

Quando si utilizzano modelli linguistici (LM) per risolvere problemi complessi, gli esseri umani potrebbero avere difficoltà a comprendere le soluzioni generate dai LM e a correggere quelle imperfette. Per assistere gli esseri umani nella loro correzione, proponiamo di scomporre automaticamente le soluzioni complesse in più parti più semplici che corrispondono a specifici sottocompiti. Introduciamo un nuovo obiettivo per l'apprendimento della scomposizione dei compiti, denominato valore assistivo (AssistV), che misura la fattibilità e la velocità con cui gli esseri umani possono correggere la soluzione scomposta. Raccogliamo un dataset di esperienze umane di correzione su diverse soluzioni scomposte. Utilizzando i dati raccolti come esempi contestuali, apprendiamo quindi a criticare, affinare e classificare le soluzioni scomposte per migliorare l'AssistV. Validiamo il nostro metodo su problemi di programmazione competitiva: in 177 ore di studio umano, il nostro metodo consente ai non esperti di risolvere il 33,3% in più di problemi, li velocizza di 3,3 volte e permette loro di eguagliare gli esperti non assistiti.

English

When using language models (LMs) to solve complex problems, humans might struggle to understand the LM-generated solutions and repair the flawed ones. To assist humans in repairing them, we propose to automatically decompose complex solutions into multiple simpler pieces that correspond to specific subtasks. We introduce a novel objective for learning task decomposition, termed assistive value (AssistV), which measures the feasibility and speed for humans to repair the decomposed solution. We collect a dataset of human repair experiences on different decomposed solutions. Utilizing the collected data as in-context examples, we then learn to critique, refine, and rank decomposed solutions to improve AssistV. We validate our method under competitive programming problems: under 177 hours of human study, our method enables non-experts to solve 33.3\% more problems, speeds them up by 3.3x, and empowers them to match unassisted experts.