Apprentissage de la décomposition de tâches pour assister les humains en programmation compétitive

Learning Task Decomposition to Assist Humans in Competitive Programming

June 7, 2024

Auteurs: Jiaxin Wen, Ruiqi Zhong, Pei Ke, Zhihong Shao, Hongning Wang, Minlie Huang

cs.AI

Résumé

Lors de l'utilisation de modèles de langage (LMs) pour résoudre des problèmes complexes, les humains peuvent rencontrer des difficultés à comprendre les solutions générées par ces modèles et à corriger celles qui sont défectueuses. Pour les aider dans cette tâche de correction, nous proposons de décomposer automatiquement les solutions complexes en plusieurs éléments plus simples, correspondant à des sous-tâches spécifiques. Nous introduisons un nouvel objectif pour l'apprentissage de la décomposition de tâches, appelé valeur d'assistance (AssistV), qui mesure la faisabilité et la rapidité avec lesquelles les humains peuvent corriger la solution décomposée. Nous collectons un ensemble de données sur les expériences de correction humaine appliquées à différentes solutions décomposées. En utilisant ces données collectées comme exemples contextuels, nous apprenons ensuite à critiquer, affiner et classer les solutions décomposées afin d'améliorer la valeur d'assistance. Nous validons notre méthode sur des problèmes de programmation compétitive : au cours d'une étude humaine de 177 heures, notre méthode permet à des non-experts de résoudre 33,3 % de problèmes supplémentaires, les rend 3,3 fois plus rapides et leur permet de rivaliser avec des experts non assistés.

English

When using language models (LMs) to solve complex problems, humans might struggle to understand the LM-generated solutions and repair the flawed ones. To assist humans in repairing them, we propose to automatically decompose complex solutions into multiple simpler pieces that correspond to specific subtasks. We introduce a novel objective for learning task decomposition, termed assistive value (AssistV), which measures the feasibility and speed for humans to repair the decomposed solution. We collect a dataset of human repair experiences on different decomposed solutions. Utilizing the collected data as in-context examples, we then learn to critique, refine, and rank decomposed solutions to improve AssistV. We validate our method under competitive programming problems: under 177 hours of human study, our method enables non-experts to solve 33.3\% more problems, speeds them up by 3.3x, and empowers them to match unassisted experts.