CodeARC : Évaluation des capacités de raisonnement des agents LLM pour la synthèse inductive de programmes

CodeARC: Benchmarking Reasoning Capabilities of LLM Agents for Inductive Program Synthesis

March 29, 2025

Auteurs: Anjiang Wei, Tarun Suresh, Jiannan Cao, Naveen Kannan, Yuheng Wu, Kai Yan, Thiago S. F. X. Teixeira, Ke Wang, Alex Aiken

cs.AI

Résumé

La synthèse inductive de programmes, ou programmation par l'exemple, consiste à synthétiser des fonctions à partir d'exemples d'entrées-sorties qui généralisent à des entrées non vues. Bien que les agents basés sur de grands modèles de langage aient montré des résultats prometteurs dans des tâches de programmation guidées par le langage naturel, leur capacité à réaliser une synthèse inductive de programmes reste peu explorée. Les protocoles d'évaluation existants reposent sur des ensembles statiques d'exemples et des tests de validation, ne fournissant aucun retour d'information lorsque les fonctions synthétisées sont incorrectes et ne reflétant pas des scénarios réels tels que la rétro-ingénierie. Nous proposons CodeARC, le Code Abstraction and Reasoning Challenge, un nouveau cadre d'évaluation où les agents interagissent avec une fonction cible cachée en l'interrogeant avec de nouvelles entrées, synthétisent des fonctions candidates et affinent itérativement leurs solutions à l'aide d'un oracle de test différentiel. Ce cadre interactif encourage les agents à effectuer des appels de fonction et à s'auto-corriger en fonction des retours. Nous construisons le premier benchmark à grande échelle pour la synthèse inductive de programmes à usage général, comprenant 1114 fonctions. Parmi les 18 modèles évalués, o3-mini obtient les meilleurs résultats avec un taux de réussite de 52,7 %, soulignant la difficulté de cette tâche. Le fine-tuning de LLaMA-3.1-8B-Instruct sur des traces de synthèse soigneusement sélectionnées permet d'obtenir un gain de performance relatif allant jusqu'à 31 %. CodeARC offre un banc d'essai plus réaliste et plus exigeant pour évaluer la synthèse de programmes et le raisonnement inductif basés sur les LLM.

English

Inductive program synthesis, or programming by example, requires synthesizing functions from input-output examples that generalize to unseen inputs. While large language model agents have shown promise in programming tasks guided by natural language, their ability to perform inductive program synthesis is underexplored. Existing evaluation protocols rely on static sets of examples and held-out tests, offering no feedback when synthesized functions are incorrect and failing to reflect real-world scenarios such as reverse engineering. We propose CodeARC, the Code Abstraction and Reasoning Challenge, a new evaluation framework where agents interact with a hidden target function by querying it with new inputs, synthesizing candidate functions, and iteratively refining their solutions using a differential testing oracle. This interactive setting encourages agents to perform function calls and self-correction based on feedback. We construct the first large-scale benchmark for general-purpose inductive program synthesis, featuring 1114 functions. Among 18 models evaluated, o3-mini performs best with a success rate of 52.7%, highlighting the difficulty of this task. Fine-tuning LLaMA-3.1-8B-Instruct on curated synthesis traces yields up to a 31% relative performance gain. CodeARC provides a more realistic and challenging testbed for evaluating LLM-based program synthesis and inductive reasoning.