CodeARC: 帰納的プログラム合成におけるLLMエージェントの推論能力のベンチマーク

CodeARC: Benchmarking Reasoning Capabilities of LLM Agents for Inductive Program Synthesis

March 29, 2025

著者: Anjiang Wei, Tarun Suresh, Jiannan Cao, Naveen Kannan, Yuheng Wu, Kai Yan, Thiago S. F. X. Teixeira, Ke Wang, Alex Aiken

cs.AI

要旨

帰納的プログラム合成、または例によるプログラミングでは、未見の入力に対しても一般化可能な関数を入力-出力例から合成する必要があります。大規模言語モデルエージェントは、自然言語に基づくプログラミングタスクで有望な成果を示していますが、帰納的プログラム合成を行う能力については十分に検証されていません。既存の評価プロトコルは、静的な例セットとホールドアウトテストに依存しており、合成された関数が誤っている場合にフィードバックを提供せず、リバースエンジニアリングなどの現実世界のシナリオを反映していません。本論文では、CodeARC（Code Abstraction and Reasoning Challenge）という新しい評価フレームワークを提案します。このフレームワークでは、エージェントが隠されたターゲット関数と対話し、新しい入力をクエリとして送信し、候補関数を合成し、差分テストオラクルを使用して反復的に解を改良します。このインタラクティブな設定により、エージェントはフィードバックに基づいて関数呼び出しと自己修正を行うことが促されます。我々は、汎用帰納的プログラム合成のための最初の大規模ベンチマークを構築し、1114の関数を特徴としています。評価された18のモデルの中で、o3-miniが52.7%の成功率で最高の性能を示し、このタスクの難しさを浮き彫りにしました。LLaMA-3.1-8B-Instructを精選された合成トレースでファインチューニングすると、最大31%の相対的性能向上が得られました。CodeARCは、LLMベースのプログラム合成と帰納的推論を評価するための、より現実的で挑戦的なテストベッドを提供します。

English

Inductive program synthesis, or programming by example, requires synthesizing functions from input-output examples that generalize to unseen inputs. While large language model agents have shown promise in programming tasks guided by natural language, their ability to perform inductive program synthesis is underexplored. Existing evaluation protocols rely on static sets of examples and held-out tests, offering no feedback when synthesized functions are incorrect and failing to reflect real-world scenarios such as reverse engineering. We propose CodeARC, the Code Abstraction and Reasoning Challenge, a new evaluation framework where agents interact with a hidden target function by querying it with new inputs, synthesizing candidate functions, and iteratively refining their solutions using a differential testing oracle. This interactive setting encourages agents to perform function calls and self-correction based on feedback. We construct the first large-scale benchmark for general-purpose inductive program synthesis, featuring 1114 functions. Among 18 models evaluated, o3-mini performs best with a success rate of 52.7%, highlighting the difficulty of this task. Fine-tuning LLaMA-3.1-8B-Instruct on curated synthesis traces yields up to a 31% relative performance gain. CodeARC provides a more realistic and challenging testbed for evaluating LLM-based program synthesis and inductive reasoning.