Many-Shot CoT-ICL: Tornando o Aprendizado em Contexto Verdadeiramente Capaz de Aprender

Resumo

Aprendizagem em contexto (ICL) adapta grandes modelos de linguagem (LLMs) a novas tarefas ao condicionar com base em demonstrações no prompt sem atualizações de parâmetros. Com modelos de contexto longo, a ICL com muitos exemplos pode usar dezenas a centenas de exemplos e atingir desempenho comparável ao ajuste fino, mas a compreensão atual de seu comportamento de escala é amplamente derivada de tarefas que não envolvem raciocínio. Estudamos a aprendizagem em contexto com cadeia de pensamento e muitos exemplos (CoT-ICL) para raciocínio e mostramos que as regras padrão de muitos exemplos não se transferem. Em LLMs não orientados a raciocínio e orientados a raciocínio, e em tarefas sem raciocínio e com raciocínio, encontramos: (i) um efeito de escala dependente do contexto, onde aumentar o número de demonstrações CoT é instável para LLMs não orientados a raciocínio e beneficia principalmente LLMs orientados a raciocínio; (ii) a recuperação baseada em similaridade ajuda em tarefas sem raciocínio, mas falha em tarefas de raciocínio, pois a similaridade semântica prediz mal a compatibilidade procedural (ou seja, CoT); e (iii) um efeito de escala de ordem, onde a variância de desempenho cresce com mais demonstrações CoT. Interpretamos esses comportamentos considerando a CoT-ICL com muitos exemplos como aprendizado em contexto no momento do teste, em vez de correspondência de padrões em escala, e sugerimos dois princípios: (i) as demonstrações devem ser fáceis para o modelo alvo entender, e (ii) elas devem ser ordenadas para apoiar uma progressão conceitual suave. Guiados pelo princípio, propomos a Seleção Curvilínea de Demonstrações (CDS), um método simples de ordenação que produz um ganho de até 5,42 pontos percentuais em geometria com 64 demonstrações. No geral, nossos resultados reenquadram a janela de contexto longo de um buffer de recuperação para um currículo estruturado para aprendizado em contexto no momento do teste.

English

In-context learning (ICL) adapts large language models (LLMs) to new tasks by conditioning on demonstrations in the prompt without parameter updates. With long-context models, many-shot ICL can use dozens to hundreds of examples and achieve performance comparable to fine-tuning, yet current understanding of its scaling behavior is largely derived from non-reasoning tasks. We study many-shot chain-of-thought in-context learning (CoT-ICL) for reasoning and show that standard many-shot rules do not transfer. Across non-reasoning and reasoning-oriented LLMs and across non-reasoning and reasoning tasks, we find: (i) a setting-dependent scaling effect, where increasing the number of CoT demonstrations is unstable for non-reasoning LLMs and benefits mainly reasoning-oriented LLMs; (ii) similarity-based retrieval helps on non-reasoning tasks but fails on reasoning, since semantic similarity poorly predicts procedural (i.e., CoT) compatibility; and (iii) an order-scaling effect, where performance variance grows with more CoT demonstrations. We interpret these behaviors by viewing many-shot CoT-ICL as in-context test-time learning rather than scaled pattern matching, and suggests two principles: (i) demonstrations should be easy for the target model to understand, and (ii) they should be ordered to support a smooth conceptual progression. Guided by the principle, we propose Curvilinear Demonstration Selection (CDS), a simple ordering method that yields up to a 5.42 percentage-point gain on geometry with 64 demonstrations. Overall, our results reframe the long context window from a retrieval buffer into a structured curriculum for in-context test-time learning.