Não copie e cole! Estratégias de reescrita para recuperação de código

Resumo

A recuperação de código baseada em embeddings frequentemente sofre quando os codificadores se ajustam excessivamente à sintaxe superficial. Trabalhos anteriores mitigam esse problema utilizando LLMs para reformular consultas e corpora em um estilo normalizado, mas deixam duas questões em aberto: quanta mudança representacional é útil e quando a chamada de LLM por consulta é justificada? Estudamos uma hierarquia de três estratégias de reformulação: reformulação estilística, Pseudocódigo enriquecido com LN e transcrição completa em Linguagem Natural, sob aumento conjunto consulta-corpus (QC, online) e apenas corpus (C, offline), em seis benchmarks CoIR, cinco codificadores e três reformuladores abrangendo famílias de modelos independentes (Qwen, DeepSeek, Mistral). Somos os primeiros a avaliar Pseudocódigo enriquecido com LN e Linguagem Natural em nível de trecho como representações diretas de recuperação, em vez de intermediários transitórios. A reformulação completa em LN com QC produz os maiores ganhos (+0,51 de NDCG@10 absoluto no CT-Contest para MoSE-18), enquanto a reformulação apenas no corpus degrada a recuperação em 56 de 90 configurações, cerca de 62%. Introduzimos dois diagnósticos, Delta H (entropia de tokens) e Delta s (cosseno de embeddings), e mostramos que Delta H prevê o ganho de recuperação sob QC nas três famílias de reformuladores: rho de Spearman agrupado = +0,436, p < 0,001 no DeepSeek+Codestral; rho = +0,593 apenas no Codestral; rho = +0,356 no Qwen. Isso estabelece Delta H como um proxy barato e independente do reformulador para decidir quando a reformulação compensa antes de executar a recuperação. Nossa análise reformula a reformulação com LLM como uma decisão de custo-benefício: é mais eficaz como uma camada de remediação para codificadores leves em consultas dominadas por código, com retornos decrescentes para codificadores fortes ou consultas pesadas em LN.

English

Embedding-based code retrieval often suffers when encoders overfit to surface syntax. Prior work mitigates this by using LLMs to rephrase queries and corpora into a normalized style, but leaves two questions open: how much representational shift helps, and when is the per-query LLM call justified? We study a hierarchy of three rewriting strategies: stylistic rephrasing, NL-enriched PseudoCode, and full Natural-Language transcription, under joint query-corpus (QC, online) and corpus-only (C, offline) augmentation, across six CoIR benchmarks, five encoders, and three rewriters spanning independent model families (Qwen, DeepSeek, Mistral). We are the first to evaluate NL-enriched PseudoCode and snippet-level Natural Language as direct retrieval representations, rather than as transient intermediates. Full NL rewriting with QC yields the largest gains (+0.51 absolute NDCG@10 on CT-Contest for MoSE-18), while corpus-only rewriting degrades retrieval in 56 of 90 configurations, about 62%. We introduce two diagnostics, Delta H, token entropy, and Delta s, embedding cosine, and show that Delta H predicts retrieval gain under QC across all three rewriter families: pooled Spearman rho = +0.436, p < 0.001 on DeepSeek+Codestral; rho = +0.593 on Codestral alone; rho = +0.356 on Qwen. This establishes Delta H as a cheap, rewriter-agnostic proxy for deciding when rewriting pays off before running retrieval. Our analysis reframes LLM rewriting as a cost-benefit decision: it is most effective as a remediation layer for lightweight encoders on code-dominant queries, with diminishing returns for strong encoders or NL-heavy queries.