# Relatório Técnico do IQuest-Coder-V1 ## Resumo Este relatório apresenta o IQuest-Coder-V1, um modelo de linguagem de código grande (LLM de código) avançado desenvolvido especificamente para tarefas de programação e engenharia de software. Baseando-se na arquitetura Transformer, o modelo foi treinado em um extenso corpus de código-fonte e documentação técnica em múltiplas linguagens de programação. O IQuest-Coder-V1 demonstra capacidades excepcionais em geração de código, explicação, depuração e tradução entre linguagens. Este documento detalha a arquitetura do modelo, a metodologia de treinamento, o conjunto de dados, os benchmarks de avaliação e as direções futuras de desenvolvimento. ## 1. Introdução O campo da Inteligência Artificial para codificação tem testemunhado progressos significativos com o advento de modelos de linguagem grandes especializados em código. O IQuest-Coder-V1 surge como uma contribuição para este ecossistema, visando preencher lacunas na compreensão contextual e na precisão sintática para aplicações do mundo real. O modelo é projetado para auxiliar desenvolvedores em diversas tarefas, desde a automação de rotinas simples até a resolução de problemas complexos de arquitetura de software. ## 2. Arquitetura do Modelo ### 2.1. Arquitetura Base O IQuest-Coder-V1 emprega uma arquitetura Transformer decoder-only, otimizada para processamento de linguagem de programação. As principais especificações incluem: * Parâmetros: 7 bilhões de parâmetros * Camadas: 32 layers de transformadores * Dimensão de Embedding: 4096 * Heads de Atenção: 32 * Contexto: Suporte a janelas de contexto de até 16.384 tokens ### 2.2. Otimizações Específicas para Código Foram implementadas várias otimizações para capturar a natureza estruturada do código: * Atenção com Bias Posicional ALiBi: Melhora a extrapolação para sequências mais longas do que as vistas durante o treinamento. * Embeddings de Árvore Sintática Abstrata (AST): Incorporação de informações da estrutura sintática do código para melhor compreensão hierárquica. * Tokenização Híbrida: Combinação de tokenizadores específicos para código (e.g., baseados em BPE) com regras para tokens de programação comuns, melhorando a eficiência na representação de identificadores e símbolos. ## 3. Metodologia de Treinamento ### 3.1. Conjunto de Dados O modelo foi treinado em um conjunto de dados massivo e diversificado, composto por: * Código Fonte: Mais de 1.5 TB de código público de alta qualidade em linguagens como Python, JavaScript, Java, C++, Go, Rust, entre outras, obtido de repositórios como GitHub. * Documentação Técnica: Textos técnicos, documentação de APIs e tutoriais para melhorar a compreensão semântica. * Par Code-Texto: Pares de problemas descritos em linguagem natural e suas soluções em código (e.g., de plataformas como Stack Overflow e LeetCode) para otimizar a geração a partir de instruções textuais. ### 3.2. Pré-treinamento O pré-treinamento foi realizado utilizando o objetivo de linguagem mascarada causal. Aproximadamente 85% dos tokens foram treinados com objetivo causal padrão (predição do próximo token), enquanto 15% foram submetidos a um objetivo de linguagem mascarada, onde spans de código eram mascarados e o modelo devia reconstruí-los. Esta abordagem híbrida reforça tanto a capacidade generativa quanto a compreensão bidirecional do contexto. ### 3.3. Ajuste Fino (Fine-tuning) Após o pré-treinamento, o modelo passou por etapas de ajuste fino: 1. Ajuste Fino Supervisionado (SFT): Utilizou-se um conjunto de dados curado de instruções (instruction tuning) contendo tarefas como "escreva uma função que...", "traduza este código para...", "explique o seguinte código". 2. Alinhamento com Aprendizado por Reforço (RL): Foi aplicada otimização de política de proximidade (PPO) com recompensas baseadas na correção funcional do código gerado (avaliada por execução em testes unitários) e na qualidade textual (avaliada por um modelo de recompensa treinado). ## 4. Avaliação e Benchmarking O desempenho do IQuest-Coder-V1 foi avaliado em benchmarks padrão da indústria e comparado com outros modelos líderes. ### 4.1. Resultados em Benchmarks Principais | Benchmark (Pass@1) | IQuest-Coder-V1 | Modelo A (7B) | Modelo B (7B) | | :--- | :---: | :---: | :---: | | HumanEval (Python) | 45.2% | 38.5% | 42.1% | | MBPP (Python) | 52.8% | 46.3% | 50.1% | | APPS (Python) | 28.5% | 22.1% | 25.9% | | MultiPL-E (Média 10 linguagens) | 41.7% | 35.9% | 39.5% | ### 4.2. Avaliação de Tarefas Específicas * Depuração (Debugging): Em um conjunto de dados interno de 500 snippets de código com bugs, o modelo identificou e corrigiu corretamente 78% dos problemas. * Explicação de Código: A qualidade das explicações, avaliada por desenvolvedores humanos, recebeu uma pontuação média de 4.2/5.0 em clareza e precisão. * Tradução entre Linguagens: A taxa de sucesso para traduções funcionamente equivalentes entre pares de linguagens populares (e.g., Python para JavaScript) foi de aproximadamente 65%. ## 5. Limitações e Considerações Éticas * Alucinações de Código: O modelo ocasionalmente pode gerar código sintaticamente correto mas semanticamente incorreto ou inseguro. * Viés de Dados: O desempenho pode variar entre linguagens de programação, refletindo a distribuição e qualidade dos dados de treinamento. * Segurança: Existe o risco de geração de código malicioso se instruções inadequadas forem fornecidas. Mecanismos de segurança foram implementados, mas não são infalíveis. Recomenda-se que todo código gerado pelo modelo seja revisado e testado rigorosamente antes de ser implantado em ambientes de produção. ## 6. Conclusão e Trabalhos Futuros O IQuest-Coder-V1 representa um avanço significativo na capacidade dos LLMs de código, mostrando desempenho competitivo em uma variedade de tarefas de programação. As otimizações arquiteturais e a estratégia de treinamento robusta resultaram em um modelo versátil e preciso. Os trabalhos futuros se concentrarão em: * Expandir o suporte a linguagens de programação menos representadas. * Melhorar a compreensão de contextos de código mais longos e complexos. * Investigar técnicas para reduzir alucinações e aumentar a confiabilidade do código gerado. * Desenvolver capacidades de raciocínio sobre código mais profundas, integrando planejamento e verificação formal. O IQuest-Coder-V1 está disponível para a comunidade de pesquisa e desenvolvimento, e esperamos que ele acelere a inovação no campo da programação assistida por IA.

IQuest-Coder-V1 Technical Report

March 17, 2026

Autores: Jian Yang, Wei Zhang, Shawn Guo, Zhengmao Ye, Lin Jing, Shark Liu, Yizhi Li, Jiajun Wu, Cening Liu, X. Ma, Yuyang Song, Siwei Wu, Yuwen Li, L. Liao, T. Zheng, Ziling Huang, Zelong Huang, Che Liu, Yan Xing, Renyuan Li, Qingsong Cai, Hanxu Yan, Siyue Wang, Shikai Li, Jason Klein Liu, An Huang, Yongsheng Kang, Jinxing Zhang, Chuan Hao, Haowen Wang, Weicheng Gu, Ran Tao, Mingjie Tang, Peihao Wu, Jianzhou Wang, Xianglong Liu, Weifeng Lv, Bryan Dai

cs.AI

Resumo

Neste relatório, apresentamos a série IQuest-Coder-V1 (7B/14B/40B/40B-Loop), uma nova família de grandes modelos de linguagem (LLMs) para código. Indo além das representações estáticas de código, propomos o paradigma de treinamento multiestágio baseado em fluxo de código, que captura a evolução dinâmica da lógica do software por meio de diferentes fases do *pipeline*. Nossos modelos são desenvolvidos através de um *pipeline* evolutivo, começando com o pré-treinamento inicial, composto por dados de fatos de código, repositórios e conclusão. Em seguida, implementamos uma fase especializada de meio-treinamento que integra trajetórias de raciocínio e agentes em contexto de 32k tokens e em escala de repositório em contexto de 128k tokens, forjando bases lógicas profundas. Os modelos são então finalizados com um pós-treinamento de capacidades de codificação especializadas, que se bifurca em dois caminhos distintos: o caminho do pensamento (utilizando RL orientada por raciocínio) e o caminho de instrução (otimizado para assistência geral). O IQuest-Coder-V1 alcança desempenho de ponta entre os modelos concorrentes em dimensões críticas da inteligência de código: engenharia de software agentiva, programação competitiva e uso complexo de ferramentas. Para lidar com restrições de implantação, a variante IQuest-Coder-V1-Loop introduz um mecanismo recorrente projetado para otimizar o equilíbrio entre a capacidade do modelo e sua pegada computacional, oferecendo um caminho arquitetonicamente aprimorado para o *trade-off* entre eficácia e eficiência. Acreditamos que o lançamento da série IQuest-Coder-V1, incluindo a cadeia completa de *checkpoints* de caixa-branca, desde as bases de pré-treinamento até os modelos finais de pensamento e instrução, irá impulsionar a pesquisa em inteligência de código autônoma e sistemas agentivos do mundo real.

English

In this report, we introduce the IQuest-Coder-V1 series-(7B/14B/40B/40B-Loop), a new family of code large language models (LLMs). Moving beyond static code representations, we propose the code-flow multi-stage training paradigm, which captures the dynamic evolution of software logic through different phases of the pipeline. Our models are developed through the evolutionary pipeline, starting with the initial pre-training consisting of code facts, repository, and completion data. Following that, we implement a specialized mid-training stage that integrates reasoning and agentic trajectories in 32k-context and repository-scale in 128k-context to forge deep logical foundations. The models are then finalized with post-training of specialized coding capabilities, which is bifurcated into two specialized paths: the thinking path (utilizing reasoning-driven RL) and the instruct path (optimized for general assistance). IQuest-Coder-V1 achieves state-of-the-art performance among competitive models across critical dimensions of code intelligence: agentic software engineering, competitive programming, and complex tool use. To address deployment constraints, the IQuest-Coder-V1-Loop variant introduces a recurrent mechanism designed to optimize the trade-off between model capacity and deployment footprint, offering an architecturally enhanced path for efficacy-efficiency trade-off. We believe the release of the IQuest-Coder-V1 series, including the complete white-box chain of checkpoints from pre-training bases to the final thinking and instruction models, will advance research in autonomous code intelligence and real-world agentic systems.