Lernaufgabendekomposition zur Unterstützung von Menschen beim Wettbewerbsprogrammieren

Learning Task Decomposition to Assist Humans in Competitive Programming

June 7, 2024

Autoren: Jiaxin Wen, Ruiqi Zhong, Pei Ke, Zhihong Shao, Hongning Wang, Minlie Huang

cs.AI

Zusammenfassung

Bei der Verwendung von Sprachmodellen (LMs) zur Lösung komplexer Probleme könnten Menschen Schwierigkeiten haben, die von den LMs generierten Lösungen zu verstehen und fehlerhafte zu korrigieren. Um Menschen bei der Reparatur zu unterstützen, schlagen wir vor, komplexe Lösungen automatisch in mehrere einfachere Teile zu zerlegen, die bestimmten Teilaufgaben entsprechen. Wir führen ein neues Ziel für das Lernen der Aufgabenzerlegung ein, das als assistiver Wert (AssistV) bezeichnet wird und die Machbarkeit und Geschwindigkeit für die Reparatur der zerlegten Lösung durch Menschen misst. Wir sammeln einen Datensatz von menschlichen Reparaturerfahrungen zu verschiedenen zerlegten Lösungen. Unter Verwendung der gesammelten Daten als In-Context-Beispiele lernen wir dann, zerlegte Lösungen zu kritisieren, zu verfeinern und zu rangieren, um den AssistV zu verbessern. Wir validieren unsere Methode anhand von Wettbewerbsprogrammieraufgaben: In 177 Stunden menschlicher Studie ermöglicht unsere Methode Nicht-Experten die Lösung von 33,3\% mehr Problemen, beschleunigt sie um das 3,3-fache und befähigt sie, mit unassistierten Experten gleichzuziehen.

English

When using language models (LMs) to solve complex problems, humans might struggle to understand the LM-generated solutions and repair the flawed ones. To assist humans in repairing them, we propose to automatically decompose complex solutions into multiple simpler pieces that correspond to specific subtasks. We introduce a novel objective for learning task decomposition, termed assistive value (AssistV), which measures the feasibility and speed for humans to repair the decomposed solution. We collect a dataset of human repair experiences on different decomposed solutions. Utilizing the collected data as in-context examples, we then learn to critique, refine, and rank decomposed solutions to improve AssistV. We validate our method under competitive programming problems: under 177 hours of human study, our method enables non-experts to solve 33.3\% more problems, speeds them up by 3.3x, and empowers them to match unassisted experts.