QuantCode-Bench: Um Benchmark para Avaliar a Capacidade de Modelos de Linguagem de Grande Porte em Gerar Estratégias de Trading Algorítmico Executáveis

QuantCode-Bench: A Benchmark for Evaluating the Ability of Large Language Models to Generate Executable Algorithmic Trading Strategies

April 16, 2026

Autores: Alexey Khoroshilov, Alexey Chernysh, Orkhan Ekhtibarov, Nini Kamkia, Dmitry Zmitrovich

cs.AI

Resumo

Os grandes modelos de linguagem demonstraram um forte desempenho em tarefas de programação de propósito geral, mas a sua capacidade de gerar estratégias de trading algorítmico executáveis permanece pouco explorada. Ao contrário dos benchmarks de código padrão, a geração de estratégias de negociação exige o domínio simultâneo de lógica financeira específica do domínio, conhecimento de uma API especializada e a capacidade de produzir código que não é apenas sintaticamente correto, mas que também resulte em negociações reais em dados históricos. Neste trabalho, apresentamos o QuantCode-Bench, um benchmark para a avaliação sistemática de LLMs modernos na geração de estratégias para a framework Backtrader a partir de descrições textuais em inglês. O benchmark contém 400 tarefas de dificuldade variada, recolhidas do Reddit, TradingView, StackExchange, GitHub e fontes sintéticas. A avaliação é conduzida através de um pipeline de múltiplos estágios que verifica a correção sintática, a execução bem-sucedida do backtest, a presença de negociações e o alinhamento semântico com a descrição da tarefa usando um modelo de linguagem como juiz. Comparamos modelos state-of-the-art em dois cenários: single-turn, onde a estratégia deve ser gerada corretamente na primeira tentativa, e multi-turn agentico, onde o modelo recebe feedback iterativo e pode corrigir os seus erros. Analisamos os modos de falha em diferentes estágios do pipeline e mostramos que as principais limitações dos modelos atuais não estão relacionadas com a sintaxe, mas sim com a correta operacionalização da lógica de trading, o uso adequado da API e a adesão à semântica da tarefa. Estas descobertas sugerem que a geração de estratégias de trading constitui uma classe distinta de tarefas de geração de código específico de domínio, na qual o sucesso requer não apenas a correção técnica, mas também o alinhamento entre as descrições em linguagem natural, a lógica financeira e o comportamento observável da estratégia nos dados.

English

Large language models have demonstrated strong performance on general-purpose programming tasks, yet their ability to generate executable algorithmic trading strategies remains underexplored. Unlike standard code benchmarks, trading-strategy generation requires simultaneous mastery of domain-specific financial logic, knowledge of a specialized API, and the ability to produce code that is not only syntactically correct but also leads to actual trades on historical data. In this work, we present QuantCode-Bench, a benchmark for the systematic evaluation of modern LLMs in generating strategies for the Backtrader framework from textual descriptions in English. The benchmark contains 400 tasks of varying difficulty collected from Reddit, TradingView, StackExchange, GitHub, and synthetic sources. Evaluation is conducted through a multi-stage pipeline that checks syntactic correctness, successful backtest execution, the presence of trades, and semantic alignment with the task description using an LLM judge. We compare state-of-the-art models in two settings: single-turn, where the strategy must be generated correctly on the first attempt, and agentic multi-turn, where the model receives iterative feedback and may repair its errors. We analyze the failure modes across different stages of the pipeline and show that the main limitations of current models are not related to syntax, but rather to the correct operationalization of trading logic, proper API usage, and adherence to task semantics. These findings suggest that trading strategy generation constitutes a distinct class of domain-specific code generation tasks in which success requires not only technical correctness, but also alignment between natural-language descriptions, financial logic, and the observable behavior of the strategy on data.