CodeARC: Оценка способностей к рассуждению агентов на основе больших языковых моделей для индуктивного синтеза программ

CodeARC: Benchmarking Reasoning Capabilities of LLM Agents for Inductive Program Synthesis

March 29, 2025

Авторы: Anjiang Wei, Tarun Suresh, Jiannan Cao, Naveen Kannan, Yuheng Wu, Kai Yan, Thiago S. F. X. Teixeira, Ke Wang, Alex Aiken

cs.AI

Аннотация

Индуктивный синтез программ, или программирование по примерам, требует создания функций на основе пар "вход-выход", которые обобщаются на ранее не встречавшиеся входные данные. Хотя крупные языковые модели показали перспективность в решении задач программирования, управляемых естественным языком, их способность выполнять индуктивный синтез программ изучена недостаточно. Существующие протоколы оценки опираются на статические наборы примеров и тестовые данные, не предоставляя обратной связи в случае некорректно синтезированных функций и не отражая реальные сценарии, такие как обратная разработка. Мы предлагаем CodeARC (Code Abstraction and Reasoning Challenge) — новую оценочную среду, в которой агенты взаимодействуют с скрытой целевой функцией, запрашивая её с новыми входными данными, синтезируя кандидатные функции и итеративно уточняя свои решения с использованием оракула дифференциального тестирования. Этот интерактивный подход побуждает агентов выполнять вызовы функций и самокоррекцию на основе обратной связи. Мы создали первый крупномасштабный бенчмарк для индуктивного синтеза программ общего назначения, включающий 1114 функций. Среди 18 оцененных моделей o3-mini показала наилучший результат с успешностью 52,7%, подчеркивая сложность этой задачи. Тонкая настройка модели LLaMA-3.1-8B-Instruct на тщательно отобранных траекториях синтеза позволяет достичь относительного улучшения производительности до 31%. CodeARC предоставляет более реалистичную и сложную платформу для оценки синтеза программ и индуктивного рассуждения на основе языковых моделей.

English

Inductive program synthesis, or programming by example, requires synthesizing functions from input-output examples that generalize to unseen inputs. While large language model agents have shown promise in programming tasks guided by natural language, their ability to perform inductive program synthesis is underexplored. Existing evaluation protocols rely on static sets of examples and held-out tests, offering no feedback when synthesized functions are incorrect and failing to reflect real-world scenarios such as reverse engineering. We propose CodeARC, the Code Abstraction and Reasoning Challenge, a new evaluation framework where agents interact with a hidden target function by querying it with new inputs, synthesizing candidate functions, and iteratively refining their solutions using a differential testing oracle. This interactive setting encourages agents to perform function calls and self-correction based on feedback. We construct the first large-scale benchmark for general-purpose inductive program synthesis, featuring 1114 functions. Among 18 models evaluated, o3-mini performs best with a success rate of 52.7%, highlighting the difficulty of this task. Fine-tuning LLaMA-3.1-8B-Instruct on curated synthesis traces yields up to a 31% relative performance gain. CodeARC provides a more realistic and challenging testbed for evaluating LLM-based program synthesis and inductive reasoning.