CodeARC: Benchmarking van Redeneervermogens van LLM-agenten voor Inductieve Programmasynthese

CodeARC: Benchmarking Reasoning Capabilities of LLM Agents for Inductive Program Synthesis

March 29, 2025

Auteurs: Anjiang Wei, Tarun Suresh, Jiannan Cao, Naveen Kannan, Yuheng Wu, Kai Yan, Thiago S. F. X. Teixeira, Ke Wang, Alex Aiken

cs.AI

Samenvatting

Inductieve programma-synthese, of programmeren aan de hand van voorbeelden, vereist het synthetiseren van functies op basis van invoer-uitvoervoorbeelden die generaliseren naar onbekende invoer. Hoewel grote taalmodellen belofte hebben getoond bij programmeertaken die worden begeleid door natuurlijke taal, is hun vermogen om inductieve programma-synthese uit te voeren nog onvoldoende onderzocht. Bestaande evaluatieprotocollen vertrouwen op statische sets van voorbeelden en achtergehouden tests, waarbij geen feedback wordt gegeven wanneer gesynthetiseerde functies incorrect zijn en waarbij geen rekening wordt gehouden met realistische scenario's zoals reverse engineering. Wij stellen CodeARC voor, de Code Abstraction and Reasoning Challenge, een nieuw evaluatiekader waarbij agents interacteren met een verborgen doel-functie door deze te bevragen met nieuwe invoer, kandidaat-functies te synthetiseren, en hun oplossingen iteratief te verfijnen met behulp van een differentieel testorakel. Deze interactieve setting moedigt agents aan om functie-aanroepen en zelfcorrectie uit te voeren op basis van feedback. We hebben de eerste grootschalige benchmark geconstrueerd voor algemeen-toepasbare inductieve programma-synthese, met 1114 functies. Van de 18 geëvalueerde modellen presteert o3-mini het beste met een slagingspercentage van 52,7%, wat de moeilijkheid van deze taak benadrukt. Het fine-tunen van LLaMA-3.1-8B-Instruct op gecureerde synthesesporen resulteert in een relatieve prestatieverbetering van tot 31%. CodeARC biedt een realistischer en uitdagender testomgeving voor het evalueren van LLM-gebaseerde programma-synthese en inductief redeneren.

English

Inductive program synthesis, or programming by example, requires synthesizing functions from input-output examples that generalize to unseen inputs. While large language model agents have shown promise in programming tasks guided by natural language, their ability to perform inductive program synthesis is underexplored. Existing evaluation protocols rely on static sets of examples and held-out tests, offering no feedback when synthesized functions are incorrect and failing to reflect real-world scenarios such as reverse engineering. We propose CodeARC, the Code Abstraction and Reasoning Challenge, a new evaluation framework where agents interact with a hidden target function by querying it with new inputs, synthesizing candidate functions, and iteratively refining their solutions using a differential testing oracle. This interactive setting encourages agents to perform function calls and self-correction based on feedback. We construct the first large-scale benchmark for general-purpose inductive program synthesis, featuring 1114 functions. Among 18 models evaluated, o3-mini performs best with a success rate of 52.7%, highlighting the difficulty of this task. Fine-tuning LLaMA-3.1-8B-Instruct on curated synthesis traces yields up to a 31% relative performance gain. CodeARC provides a more realistic and challenging testbed for evaluating LLM-based program synthesis and inductive reasoning.