Artigos de pesquisa em IA selecionados diariamente com traduções
Muitas tarefas de programação cotidiana resistem a uma implementação limpa baseada em regras, como alertar sobre linhas de log importantes, reparar JSON malformado ou classificar resultados de busca por intenção, e são cada vez mais terceirizadas para APIs de modelos de linguagem de grande porte, ao custo de localidade, reprodutibilidade e preço. Propomos a programação de função fuzzy: compilar tal função a partir de uma especificação em linguagem natural em um artefato neural compacto e executável localmente. Instanciamos esse paradigma com Program-as-Weights (PAW), no qual um compilador de 4B treinado no FuzzyBench, um conjunto de dados de 10 milhões de exemplos que disponibilizamos, emite adaptadores eficientes em parâmetros para um interpretador leve e congelado. Um interpretador Qwen3 de 0,6B executando programas PAW iguala o desempenho de prompting direto do Qwen3-32B, enquanto usa aproximadamente um quinquagésimo da memória de inferência e opera a 30 tokens/s em um MacBook M3. PAW reformula o modelo de fundação de um solucionador de problemas por entrada em um construtor de ferramentas: invocado uma vez por definição de função, ele produz um pequeno artefato reutilizável cujas chamadas subsequentes por aplicação de função são baratas e offline.
A memória para um agente LLM de longo horizonte é um contrato sobre o que cada decisão futura pode ver. O contrato mais simples anexa observações passadas, chamadas de ferramentas e reflexões a cada prompt, o que facilita o acesso ao contexto anterior, mas também o transforma em uma mistura confusa na qual o efeito de qualquer componente único de memória é difícil de isolar. Introduzimos e instrumentamos um contrato limitado alternativo: cada decisão é tomada a partir de uma nova mensagem de usuário montada por recuperação tipada, sem qualquer transcrição bruta entre decisões anexada. O prompt permanece, portanto, limitado ao longo de execuções de qualquer duração, e qualquer camada isolada pode ser removida experimentalmente de forma independente. Implementamos o contrato em *Slay the Spire 2*, um jogo estocástico de construção de baralho com regras fechadas, cujas partidas exigem centenas de decisões táticas e estratégicas. Um benchmark público online de LLMs de fronteira no mesmo jogo relata zero vitórias na dificuldade mais baixa em cinco configurações, e a taxa de vitórias humana relatada pelo desenvolvedor na mesma dificuldade é de 16%; a tarefa é difícil, mas não saturada. Dentro do nosso arcabouço, uma ablação de A0 fixo mostra a maior diferença observada quando habilidades estratégicas acionadas são ativadas: a linha de base sem armazenamento vence 3/10 jogos e, ao adicionar a camada de habilidades, 6/10. Nesse tamanho amostral, a comparação é direcional, e não estatisticamente decisiva (p exato de Fisher ≈ 0,37); uma sonda intercruzamento de arquiteturas e linhas de base públicas de contexto acumulativo são relatadas como comparações operacionais, e não como testes controlados da própria variável do contrato. Disponibilizamos um ambiente de teste reproduzível: 298 trajetórias concluídas com marcadores de condição, instantâneos congelados de memória/habilidades, registros de prompts e scripts de análise — um projeto de agente e uma metodologia validada e reutilizável para estudar como camadas explícitas de memória moldam as decisões de agentes LLM de longo horizonte.
Espera-se cada vez mais que agentes autônomos melhorem políticas executáveis por meio de feedback, porém as avaliações existentes frequentemente reduzem esse processo a uma pontuação final ou o confundem com progresso indefinido de engenharia de software. Apresentamos a Evolução Autônoma de Políticas, um ambiente de avaliação controlado no qual um agente baseado em modelo de arnês edita repetidamente um sistema de políticas executáveis sob um orçamento fixo de interação. Concretizamos esse ambiente no EvoPolicyGym, um benchmark construído a partir de ambientes compactos de RL interativos que avalia como agentes melhoram iterativamente políticas exploradas. No conjunto EvoPolicyGym, o GPT-5.5 alcança a pontuação de classificação agregada mais forte e o desempenho entre os dois primeiros em todos os 16 ambientes. Além dos resultados de leaderboard, o EvoPolicyGym também fornece diagnósticos em nível de trajetória que distinguem como os agentes alocam orçamento, convertem feedback em ajuste paramétrico. Essas análises mostram que uma forte evolução autônoma de políticas depende não apenas de vitórias isoladas em tarefas, mas de descobrir mecanismos apropriados para a tarefa e refinar políticas sob feedback limitado.
Modelos de atenção híbrida melhoram a eficiência em contextos longos ao reter apenas um subconjunto de camadas de atenção completa e substituir as demais camadas por atenção linear. No entanto, a eficácia da conversão de Transformer para híbrido depende criticamente de quais camadas preservam a atenção completa. Os métodos existentes de seleção de camadas híbridas geralmente dependem de estratégias heurísticas, como padrões de posicionamento fixo ou pontuação por camada, tratando implicitamente a importância da camada como isolada e ignorando o efeito de interdependência das camadas sob uma configuração híbrida global. Neste trabalho, formulamos a seleção de camadas híbridas como um problema de otimização de subconjunto com restrição de orçamento. Propomos ainda o FlashMorph (Fast LAyer Selection for Hybrid MORPHing), um método de seleção de camadas eficaz, eficiente e escalável para conversão de Transformer para híbrido. O FlashMorph primeiro constrói um modelo maleável equipando cada camada de atenção completa com um ramo de atenção linear convertido. Em seguida, congela todos os pesos do modelo e otimiza conjuntamente portas por camada em dados sintéticos de recuperação de contexto longo, com uma regularização de linearização que incentiva o modelo a depender da atenção linear para eficiência. As portas aprendidas são discretizadas sob um orçamento de atenção completa predefinido para instanciar a arquitetura híbrida, seguido por destilação de logits padrão e ajuste fino em contexto longo. Extensos experimentos mostram que o FlashMorph descobre configurações híbridas mais eficazes, preserva um forte recall de contexto longo e desempenho geral em benchmarks, enquanto reduz substancialmente o custo de seleção de camadas em comparação com métodos existentes, demonstrando sua eficácia, eficiência e escalabilidade.
Estratégias independentes de hardware para acelerar a difusão texto-imagem, como destilação de passos temporais e cache de características, podem reduzir o tempo de inferência sem kernels personalizados ou otimização em nível de sistema. Entre elas, as estratégias de geração em múltiplas resoluções receberam recentemente ampla atenção, alcançando mais de 5x de aceleração sem qualquer treinamento. No entanto, o design de realizar upsampling no espaço latente, juntamente com a modificação seletiva de regiões parciais, faz com que esses métodos apresentem desfoque ou artefatos perceptíveis. Para este fim, propomos o MrFlow, uma estratégia de aceleração em múltiplas resoluções sem treinamento para modelos de correspondência de fluxo pré-treinados, construída sobre um pipeline em estágios de baixa para alta resolução. O MrFlow primeiro gera rapidamente a estrutura principal em baixa resolução, depois realiza super-resolução no espaço de pixels usando um modelo leve baseado em GAN pré-treinado, subsequentemente injeta ruído de baixa intensidade para permitir reamostragem de alta frequência e, finalmente, refina os detalhes em alta resolução. Resultados quantitativos e qualitativos no FLUX.1-dev e Qwen-Image mostram que o MrFlow explora a redução quadrática de tokens e a redução na exigência de passos da amostragem em baixa resolução para alcançar 10x de aceleração de ponta a ponta, mantendo o OneIG dentro de uma diferença de 1% em relação ao valor antes da aceleração, superando significativamente outras estratégias de aceleração sem treinamento, e não exigindo treinamento ou identificação dinâmica em tempo de execução. O MrFlow pode ainda ser combinado diretamente de forma ortogonal com estratégias pré-treinadas de destilação de passos temporais, alcançando uma aceleração de geração ainda maior de até 25x.
A ciência de dados tem como objetivo extrair insights acionáveis de dados brutos heterogêneos, desbloqueando o valor das enormes quantidades de dados gerados na sociedade moderna. Automatizar esse processo é essencial para reduzir os esforços intensivos em mão de obra dos cientistas de dados e viabilizar aplicações escaláveis baseadas em dados. Recentemente, agentes de dados baseados em modelos de linguagem de grande escala (LLMs) surgiram como uma solução promissora para automatizar fluxos de trabalho de ciência de dados. No entanto, a área carece de benchmarks abrangentes para avaliar rigorosamente esses agentes em diversos cenários com granularidade refinada. Para preencher essa lacuna, propomos o AgenticDataBench, um benchmark abrangente que apresenta tarefas realistas em diversos domínios com rótulos de referência de granularidade fina. Isso possibilita avaliações que capturam a diversidade e complexidade dos fluxos de trabalho de ciência de dados, bem como o desempenho detalhado dos agentes. Primeiro, para cobrir diversos domínios, coletamos conjuntos de dados e tarefas reais de 15 domínios verticais, incluindo 5 casos de uso B2B reais de uma empresa líder em fintech. Segundo, para remover redundâncias em tarefas do mundo real e gerar tarefas de alta qualidade para domínios que carecem de dados reais, introduzimos habilidades de ciência de dados, padrões operacionais recorrentes centrados em dados, e quantificamos a cobertura do benchmark pelo número de habilidades incluídas. Habilidades representativas são extraídas de soluções de tarefas em grande escala no Stack Overflow por meio de agrupamento hierárquico alinhado por habilidades. Terceiro, para tarefas de negócios reais, selecionamos pares tarefa-solução que maximizam a diversidade na composição de habilidades, garantindo ampla cobertura de cenários práticos. Quarto, para gerar tarefas realistas para domínios concebidos sem tarefas reais, propomos uma abordagem sistemática de geração de tarefas baseada em LLM para criar fluxos de trabalho e tarefas com base nessas habilidades. Por fim, avaliamos agentes de dados de última geração usando nosso benchmark anotado e ambiente de teste de código aberto, fornecendo insights detalhados em nível de habilidade.
Apresentamos o WorldDirector, uma estrutura de modelo de mundo de vídeo altamente controlável, projetada para memória persistente de objetos dinâmicos e exploração irrestrita de pontos de vista. Diferentemente dos modelos de mundo existentes, que entrelaçam a dinâmica física com a renderização de pixels e dependem de observação visual contínua para sustentar o movimento, nossa estrutura separa explicitamente a orquestração semântica do movimento da geração visual. Ao utilizar um LLM para coordenar trajetórias 3D com movimentos de câmera e, subsequentemente, empregar essas trajetórias orquestradas como sinais de controle para a geração de vídeo, nossa abordagem garante lógica física rigorosa e estabilidade de aparência, preservando com sucesso as identidades visuais exatas de entidades dinâmicas, mesmo quando elas reentram em cena após longos períodos fora de vista. Resultados experimentais demonstram que nosso método suporta a síntese de eventos complexos e prolongados com controlabilidade sem precedentes e memória persistente de objetos dinâmicos. Página do projeto: https://worlddirector.github.io/
Modelos recentes de linguagem de grande escala multimodais têm demonstrado grande promessa no raciocínio de imagens clínicas, mas os pipelines de pós-treinamento existentes permanecem predominantemente centrados no resultado, dependendo da correção da resposta final ou de preferências em nível de sequência. Isso sofre de atribuição esparsa de crédito, dificultando a otimização do processo de raciocínio essencial para aplicações clínicas. Nossa análise revela que erros em cascata provenientes de falhas de raciocínio em estágios iniciais são uma das principais causas de previsões incorretas em benchmarks de resposta a perguntas visuais médicas (VQA). Motivados por isso, propomos a Otimização de Política Sensível ao Raciocínio Médico (MRPO, na sigla em inglês), um algoritmo de RL que incorpora recompensas de processo passo a passo. Quando a resposta final está incorreta, o MRPO atribui penalidades exponencialmente maiores aos tokens em etapas de raciocínio inválidas anteriores, quebrando cascatas de falhas sem comprometer caminhos bem-sucedidos. Em três backbones de LLM multimodais, o MRPO supera consistentemente o GRPO padrão e uma linha de base RL recente, e no Qwen3-VL-8B-Instruct até supera MLLMs médicos substancialmente maiores, como o HuatuoGPT-Vision-34B, por 2,79 pontos. Além disso, o MRPO reduz as falhas de raciocínio em estágios iniciais de 64,0% para 13,0%, mostrando que a mitigação direcionada de falhas em cascata melhora tanto a qualidade do raciocínio quanto a precisão da resposta final. Nosso código está disponível em https://github.com/dmis-lab/MRPO.
As habilidades estão se tornando uma camada operacional reutilizável para agentes LLM, codificando POPs, regras de domínio, fluxos de trabalho de ferramentas, scripts e rotinas de validação. Em repositórios realistas de habilidades, habilidades sobrepostas dificultam o uso confiável das mesmas. O sucesso do verificador final é muito grosseiro tanto para avaliação quanto para treinamento, uma vez que um agente pode passar por tentativa e erro ao selecionar habilidades distratoras, pular etapas necessárias, compor fluxos de trabalho incorretamente ou omitir verificações finais. Apresentamos o SkillCoach, uma estrutura de rubricas auto evolutiva para avaliar e aprimorar o uso agentivo de habilidades. O SkillCoach deriva rubricas de processo baseadas em habilidades a partir de execuções reais e avalia trajetórias ao longo de quatro dimensões: seleção de habilidades, seguimento de habilidades, composição de habilidades e reflexão baseada em habilidades. Ele mantém o verificador externo como um sinal de resultado separado, permitindo distinguir a qualidade do processo do sucesso acidental da tarefa. As rubricas evoluídas servem ainda como supervisão de processo para selecionar trajetórias de treinamento de alta qualidade. Experimentos mostram que as rubricas evoluídas melhoram substancialmente a qualidade da avaliação, expõem falhas ocultas pela precisão final e fornecem sinais de supervisão mais fortes do que a filtragem apenas por resultado para aprimorar o uso agentivo de habilidades.
Estratégias convencionais de aprendizado por reforço para geração visual tipicamente empregam funções de recompensa baseadas em amostras individuais, contudo essa prática frequentemente resulta em hacking de recompensa que degrada a diversidade das imagens e introduz anomalias visuais. Para superar essas limitações, apresentamos uma nova estrutura que ajusta modelos generativos utilizando recompensas por distribuição, garantindo melhor alinhamento com as distribuições de dados do mundo real. Diferentemente das recompensas que avaliam amostras individualmente, a recompensa por distribuição considera a distribuição dos dados das amostras, mitigando o problema de colapso modal que ocorre quando todas as amostras otimizam independentemente na mesma direção. Para contornar o custo computacional proibitivo da estimação dessas recompensas, introduzimos uma estratégia de substituição de subconjuntos que fornece sinais de recompensa de forma eficiente, atualizando apenas um pequeno subconjunto de um conjunto de referência gerado. Além disso, aplicamos RL para otimizar coeficientes de combinação de modelos post-hoc, potencialmente mitigando a inconsistência entre treino e inferência causada pela introdução de equações diferenciais estocásticas (SDE) em práticas regulares de RL. Experimentos extensivos mostram que nossa abordagem melhora significativamente o FID-50K em vários modelos base, de 8,30 para 5,77 no SiT e de 3,74 para 3,52 no EDM2. A avaliação qualitativa também confirma que nosso método aprimora a qualidade perceptual enquanto preserva a diversidade das amostras.
Em uso de contexto longo, modelos de linguagem grandes frequentemente sintetizam respostas a partir do significado de um trecho de contexto relevante, em vez de literalmente copiá-las. Identificar quais cabeças de atenção realizam essa síntese é importante para interpretar o comportamento do modelo em contextos longos. No entanto, detectores existentes não identificam essas cabeças por construção: eles recompensam cabeças cujo token atendido corresponde ao token gerado, um critério de cópia literal que captura onde uma cabeça lê, mas não o que ela escreve através de seu circuito de saída-valor (OV), o próprio mecanismo que realiza a recuperação não literal. Apresentamos o Logit-Contribution Scoring (LOCOS), um detector ciente de escrita que pontua cada cabeça pela projeção da saída de seu circuito OV na direção de desembedação do token de resposta, contrastando posições de origem agulha e fora da agulha em uma única passagem direta. Em três famílias de modelos (Qwen3, Gemma-3, OLMo-3.1), a ablação média das principais cabeças LOCOS no benchmark de recuperação não literal NoLiMa colapsa o ROUGE-L em contagens menores de cabeças do que detecções baseadas em atenção anteriores; no Qwen3-8B, a ablação de 50 cabeças reduz o ROUGE-L de 0,401 para 0,000 enquanto a linha de base mais forte ainda retém 0,292. As cabeças selecionadas são específicas para recuperação: a recordação paramétrica e o raciocínio aritmético permanecem na linha de base sob a mesma ablação. No Qwen3-8B, a mesma ablação também reduz MuSiQue de 0,55 para 0,08 e BABI-Long de 0,62 para 0,20, enquanto um controle de cabeças aleatórias permanece dentro de 0,05 da linha de base.
O alinhamento de representação tornou-se uma forma eficaz de acelerar o treinamento de transformadores de difusão e melhorar a qualidade da geração. Métodos recentes de auto-alinhamento, como SRA e Self-Flow, eliminam ainda a dependência de codificadores pré-treinados externos ao construir o alinhamento dentro do próprio modelo de difusão. No entanto, o mecanismo por trás da melhoria do SRA para o Self-Flow, o agendamento de tempo dual, permanece pouco examinado: o Self-Flow atribui seu ganho às interações entre tokens em diferentes níveis de ruído, onde tokens mais limpos ajudam a inferir os mais ruidosos. Neste trabalho, revisitamos essa explicação e perguntamos se o ganho, em vez disso, provém do aumento de dados ao longo da dimensão de ruído. Para separar esses fatores, introduzimos a Separação de Atenção, que preserva a mesma entrada de dois timesteps do Self-Flow enquanto bloqueia a atenção entre tokens atribuídos a diferentes níveis de ruído. Surpreendentemente, remover tal interação não degrada o desempenho e pode até melhorá-lo, sugerindo que a melhoria do SRA para o Self-Flow vem principalmente do aumento de dados. Além disso, mostramos que a própria Separação de Atenção fornece um efeito de aumento ao dividir uma única imagem em múltiplas partes de treinamento eficazes para expandir os dados de treinamento. Com base nessas observações, combinamos o auto-alinhamento de representação com agendamento de tempo dual e aumento por separação de atenção, e demonstramos a eficácia desse design no ImageNet.
O reconhecimento de veias é uma tecnologia biométrica segura, frequentemente limitada por dados anotados escassos e variações de imagem. Embora a aumento de dados mitigue esse problema, estratégias projetadas para imagens naturais podem prejudicar a topologia de granulação fina e as texturas essenciais para a discriminação de identidade. Apresentamos o AGVBench, que avalia 30 estratégias representativas de aumento de dados em cinco conjuntos de dados públicos de veias palmares e digitais, com sete arquiteturas de base, abrangendo CNNs clássicas, transformers de visão e modelos específicos de reconhecimento de veias. Nossos resultados mostram que métodos de mistura de múltiplas imagens (ex.: MixUp, PuzzleMix, StarMixup) geralmente proporcionam o melhor desempenho de reconhecimento. No entanto, eles são frequentemente mal calibrados e vulneráveis a perturbações adversariais, revelando uma clara inconsistência entre acurácia limpa e segurança adversarial. Também constatamos que transformações geométricas severas frequentemente degradam o reconhecimento, potencialmente devido ao desalinhamento de características ou recorte espacial, e que a eficácia do aumento varia entre conjuntos de dados de veias palmares e digitais. Essas descobertas comprovam que a avaliação centrada na acurácia é insuficiente para a aumento biométrico. O AGVBench fornece protocolos padronizados para apoiar pesquisas reproduzíveis e orientar o projeto de sistemas de reconhecimento de veias confiáveis, seguros e robustos. Nosso código está disponível em https://github.com/Advance-VeinTech-Innovators/AGVBench.
Métodos de geração de imagens controláveis, como o ControlNet, demonstraram uma capacidade notável de introduzir condições visuais (por exemplo, mapas de profundidade) para orientar a geração de imagens. No entanto, esses métodos frequentemente enfrentam dificuldades com cenas complexas de múltiplas instâncias, levando comumente a confusão de atributos entre as instâncias. Embora abordagens recentes tentem mitigar esse problema por meio da rotulagem manual de instâncias, tais requisitos demandam muito trabalho. Neste artigo, propomos o InstanceControl, um novo método de geração controlável de múltiplas instâncias que elimina a necessidade de rotulagem de instâncias. Identificamos que o principal gargalo nos métodos existentes é a incapacidade de associar com precisão as descrições das instâncias às suas regiões correspondentes dentro das condições visuais. Para resolver isso, utilizamos o Modelo Visão-Linguagem (VLM) para estabelecer correspondências em nível de instância entre prompts de texto e condições visuais. Especificamente, o VLM analisa automaticamente as descrições das instâncias a partir dos prompts de texto e, simultaneamente, prevê máscaras de instâncias com base nas condições visuais. Além disso, como as máscaras previstas podem conter ruído, introduzimos uma estratégia de refinamento adaptativo de máscaras que refina dinamicamente essas máscaras de instância durante o processo de geração. Experimentos extensos demonstram que nossa abordagem supera os métodos de ponta, alcançando fidelidade superior e controle preciso em nível de instância.
Agentes de busca impulsionados por grandes modelos de linguagem (LLMs) são cada vez mais utilizados para resolver tarefas complexas de busca de informações, exigindo recuperação e raciocínio em múltiplas etapas para atender aos objetivos do usuário. No entanto, benchmarks existentes frequentemente assumem que as consultas dos usuários são completas e explícitas, ignorando o fato de que as solicitações de busca no mundo real são frequentemente vagas, subespecificadas ou até mesmo factualmente incorretas. Em cenários de busca profunda, tal ambiguidade pode se propagar ao longo de cadeias de raciocínio em múltiplas etapas e levar os agentes a trajetórias de busca incorretas. Para preencher essa lacuna, apresentamos o DiscoBench, um benchmark para busca profunda ciente de esclarecimento, projetado para avaliar se os agentes de busca conseguem identificar proativamente ambiguidades, fazer perguntas de esclarecimento eficazes e recuperar caminhos de raciocínio corretos por meio da interação com o usuário. O DiscoBench contém 211 amostras e 463 instâncias de ambiguidade em 11 domínios do mundo real, abrangendo quatro tipos de ambiguidade. Além disso, projetamos um simulador de usuário para interação em múltiplas rodadas e avaliamos o desempenho do modelo sob quatro perspectivas: utilidade da tarefa, detecção de ambiguidade, estratégia de interação e eficiência de custo. Experimentos em LLMs representativos mostram que a detecção de ambiguidade e o esclarecimento eficaz são capacidades distintas, e que buscar repetidamente em vez de pedir esclarecimento muitas vezes tem desempenho pior do que o palpite direto, destacando uma lacuna crítica entre a capacidade de recuperação e a resolução interativa de problemas nos agentes de busca atuais.
Modelos de Visão-Linguagem (VLMs) têm demonstrado imenso potencial no Grounding Espaço-Temporal de Vídeos (STVG). No entanto, os protocolos de avaliação atuais estão amplamente confinados a avaliações zero-shot em benchmarks gerais do cotidiano. Isso cria uma desconexão crítica em relação às aplicações do mundo real em áreas especializadas, onde os modelos inevitavelmente encontram conceitos visuais raros e dinâmicas espaço-temporais complexas. Como o pré-treinamento exaustivo em distribuições infinitas de dados é inviável, a capacidade de adaptação a novos domínios é essencial. Para preencher essa lacuna, apresentamos o AnyGroundBench, um benchmark de adaptação de domínio projetado para mudar o paradigma de avaliação do STVG de testes zero-shot estáticos para uma adaptação rigorosa de domínio. Visando cinco domínios especializados (animal, indústria, esportes, cirurgia e segurança pública), o AnyGroundBench combina vídeos recém-capturados, como comportamentos de camundongos anotados por especialistas, com conjuntos de dados estabelecidos, unificando-os por meio de anotações espaço-temporais densas e de alta fidelidade. Crucialmente, o benchmark fornece subconjuntos de treinamento dedicados para medir sistematicamente a adaptabilidade ao domínio. Avaliamos extensivamente 15 VLMs de última geração, avaliando sua generalização zero-shot e capacidades de Aprendizado no Contexto (ICL) sob restrições computacionais práticas. Por fim, nossas descobertas revelam que os modelos atuais falham tanto na adaptação zero-shot quanto na baseada em ICL quando confrontados com domínios especializados, expondo falhas críticas no raciocínio espaço-temporal que pesquisas futuras devem abordar.
A expertise em memória é uma habilidade aprendida: saber o que codificar, quando recuperar e como organizar o conhecimento – uma capacidade conhecida na ciência cognitiva como metamemória. Trazemos essa perspectiva para os LLMs ao tratar o gerenciamento de memória como uma habilidade treinável. Promovemos operações de sistema de arquivos a ações de memória de primeira classe, lado a lado com ações de tarefa, permitindo que o próprio modelo decida como gerenciar sua memória. Essa habilidade de memória aprimora-se ao longo de dois eixos: a estrutura que a suporta (prompts, esquemas de arquivos, vocabulário de ações) e a proficiência do modelo que a exerce. Ambos os eixos resistem à otimização manual: episódios em tarefas de horizonte longo se estendem por milhares de passos, e um único erro de memória pode ficar oculto muito antes de se manifestar, tornando a revisão humana de trajetórias completas impraticável. Apresentamos o AutoMem, um framework que automatiza ambos os eixos. No primeiro loop, um LLM forte revisa trajetórias completas do agente e revisa iterativamente a estrutura de memória que molda como o agente interage com seus arquivos de memória. No segundo loop, as próprias boas decisões de memória do agente são identificadas a partir de muitos episódios e usadas como sinal de treinamento para aprimorar diretamente a proficiência em memória do modelo. Em três jogos de horizonte longo gerados proceduralmente (Crafter, MiniHack e NetHack), otimizar apenas a memória – sem modificar o comportamento de ações de tarefa do modelo – melhorou o desempenho do agente base em aproximadamente 2x a 4x, tornando um modelo de peso aberto de 32B competitivo com sistemas de ponta como Claude Opus 4.5 e Gemini 3.1 Pro Thinking. Nossos resultados mostram que o gerenciamento de memória é uma habilidade independentemente aprendível e um objetivo de alta alavancagem que produz grandes ganhos em tarefas de horizonte longo.
Avaliar agentes LLM em benchmarks como SWE-Bench e GAIA pode ser caro, demorado e exigir infraestrutura complexa. Uma única avaliação pode custar milhares de dólares e levar dias para ser concluída. Em contraste, benchmarks LLM não agentivos que testam capacidades individuais (por exemplo, raciocínio, geração de código) são rápidos e baratos de executar. Neste artigo, investigamos se o desempenho em benchmarks agentivos caros pode ser previsto com precisão a partir do desempenho em um pequeno subconjunto cuidadosamente selecionado de instâncias de avaliação atômica. Apresentamos o PACE, uma estrutura que constrói benchmarks proxy selecionando instâncias de avaliações não agentivas existentes cujas pontuações agregadas preveem de forma mais confiável os desempenhos dos modelos em benchmarks agentivos. Dado um conjunto de instâncias candidatas abrangendo capacidades atômicas, o PACE ajusta uma regressão que mapeia as pontuações de um modelo em um subconjunto compacto de instâncias fonte para sua pontuação no benchmark agentivo alvo. O subconjunto em si é curado combinando duas estratégias complementares de seleção de instâncias: seleção local por relevância ao alvo e seleção global informativa. Aplicamos o PACE aos 4 benchmarks agentivos alvo neste artigo, o que resulta no PACE-Bench, o benchmark proxy concreto que avaliamos no artigo. Experimentos em 14 modelos, 4 benchmarks agentivos e 19 benchmarks não agentivos mostram que o PACE-Bench prevê pontuações agentivas com erro absoluto médio (EAM) de validação cruzada deixando um de fora (LOOCV) abaixo de 4%, correlação de Spearman acima de 0,80 e precisão de ranqueamento pareado de modelos em torno de 85%, tudo isso a menos de 1% do custo total da avaliação agentiva. Analisamos ainda as instâncias proxy selecionadas, revelando quais habilidades cada benchmark agentivo exige de forma única. O PACE permite que profissionais obtenham estimativas confiáveis de desempenho agentivo durante o desenvolvimento, seleção e roteamento de modelos, sem a sobrecarga da avaliação completa do agente.
Elucidamos o espaço de projeto da Correspondência de Distribuição de Representações (RDM, do inglês Representation Distribution Matching), nosso nome para o paradigma que treina um gerador de imagens de uma etapa ao comparar as distribuições de características geradas e de referência sob codificadores pré-treinados congelados. Identificamos dois eixos de projeto: como as distribuições são comparadas e as representações nas quais são comparadas, e estudos controlados ao longo desses eixos produzem três descobertas. Primeiro, o MMD clássico, que não conseguia treinar geradores convincentes há uma década, torna-se um objetivo forte e escalável uma vez estimado corretamente. Segundo, o lote gerado é então a variável operativa, com um ótimo acima de 2048, muito além dos tamanhos de lote habituais. Terceiro, qualquer representação única pode ser manipulada, sendo levada abaixo da pontuação real enquanto as imagens permanecem visivelmente falsas, por isso comparamos contra uma bateria equilibrada de codificadores e avaliamos com SW_r14, uma distância Sliced-Wasserstein sobre 14 codificadores que é independente da perda de treinamento e resiste à manipulação. Combinar as escolhas preferidas resulta em RDM melhorado (iRDM): ele estabelece o estado da arte de uma etapa no ImageNet com SW_r14 1,30, corroborado pelo PickScore, uma proxy de preferência humana que nosso objetivo nunca otimiza, e que o prefere em relação ao melhor gerador de uma etapa anterior em 71,2% das amostras correspondentes. A mesma receita pós-treina o FLUX.2 [klein] de quatro etapas em um gerador de uma etapa, superando a versão de quatro etapas no GenEval, de 0,826 para 0,794, e no PickScore, de 22,76 para 22,58, em 90 horas de GPU H200. Página do projeto: https://alan-lanfeng.github.io/rdm/.
Modelos Visão-Linguagem-Ação (VLA) são fundamentalmente limitados pela escassez de demonstrações de especialistas — tripletos de observações, instruções e ações cuja coleta em larga escala é custosa. Argumentamos que esse gargalo decorre da fusão de dois objetivos de aprendizado distintos: adquirir competência física (como se mover) e adquirir alinhamento semântico (o que fazer). Crucialmente, apenas este último requer supervisão linguística. Com base nessa Hipótese de Decomposição, propomos o Pré-treinamento Agnóstico de Tarefas (TAP, do inglês *Task-Agnostic Pretraining*), uma estrutura em dois estágios que primeiro aprende priores motores transferíveis a partir de dados de interação não rotulados e baratos — incluindo trajetórias descartadas fora da tarefa e exploração autônoma do robô — por meio de um objetivo auto-supervisionado de Dinâmica Inversa. Um segundo estágio leve então fundamenta esses priores em linguagem usando dados mínimos de especialistas. No benchmark SIMPLER, o TAP iguala modelos treinados em mais de 1 milhão de trajetórias de especialistas enquanto utiliza ordens de grandeza a menos de dados rotulados, resultando em um ganho absoluto de 10% sobre a clonagem comportamental padrão. Em uma plataforma WidowX real, o TAP mantém 25% de sucesso sob perturbações de câmera, enquanto linhas de base em escala da internet colapsam para 0%, demonstrando que o pré-treinamento agnóstico de tarefas produz representações físicas robustas e transferíveis e oferece um caminho escalável para o futuro da IA Incorporada.
O pós-treinamento contínuo permite que modelos fundamentais adquiram novos conhecimentos enquanto preservam capacidades existentes. Trabalhos recentes sugerem que o aprendizado on-policy pode mitigar o esquecimento, sendo a autodestilação on-policy uma abordagem particularmente atraente. Neste trabalho, revisitamos essa visão otimista por meio da otimização de políticas com autodestilação (SDPO). Nossos experimentos mostram que o SDPO pode acelerar a especialização no domínio quando os sinais do professor são estáveis e bem alinhados, mas tem dificuldades para generalizar para cenários fora da distribuição. No pós-treinamento contínuo, o SDPO exibe um esquecimento mais forte e pode até colapsar, enquanto métodos de aprendizado por reforço on-policy, como GRPO, adaptam-se de forma mais conservadora e preservam melhor as capacidades anteriores. Análises adicionais revelam que uma autodestilação mais densa induz maior deriva tanto no espaço de parâmetros quanto no espaço de respostas, e pode amplificar artefatos de formatação de alta frequência por meio de um ciclo autorreforçador entre professor e aluno. Esses achados sugerem que apenas dados on-policy são insuficientes para o aprendizado contínuo. A autodestilação densa pode acelerar a especialização quando os alvos do professor são estáveis e a supervisão no nível do token é confiável, mas não deve ser tratada como um estabilizador padrão para o pós-treinamento contínuo. Nosso código está disponível em https://github.com/Moenupa/SDPO-CL.
Modelos de linguagem de difusão, que geram texto ao realizar denoising bidirecional de um canvas de tokens, em vez de emitir tokens da esquerda para a direita, tornaram-se competitivos com a geração autoregressiva (AR). No entanto, os modelos de base médicos permanecem quase inteiramente autoregressivos. Adaptamos um modelo de linguagem de difusão com mistura de especialistas, DiffusionGemma-26B, e o avaliamos em comparação com seu equivalente AR de mesmo tamanho, Gemma-4-26B, sob uma receita LoRA idêntica em conjuntos de dados de resposta a perguntas visuais médicas, pontuados por um juiz LLM robusto à verbosidade. A difusão iguala ou supera a AR em todos eles, e o modelo ajustado (3,8B ativos) é competitivo com modelos de linguagem visual de fronteira; sua decodificação também é 3,5–4,4 vezes mais rápida. Além dessa paridade, o modelo de difusão oferece uma capacidade de rascunho que a AR não possui: preenchimento em qualquer ordem. Como o canvas tem o ruído removido bidirecionalmente, um radiologista pode fixar fragmentos de relatório e fazer com que o modelo preencha o texto entre eles, uma operação inerente à difusão, mas não à autoregressão, que é inferior nessa tarefa. Isso se adequa a relatórios reais, que são frequentemente concisos ou inconsistentes entre clínicos e instituições.
Modelos fundamentais são rotineiramente disponibilizados ao público, mas as receitas de dados usadas para treiná-los — como os pesos de mistura de domínios que determinam como diferentes fontes são amostradas — raramente são divulgadas. Isso cria uma assimetria de acesso: os pesquisadores estudam os modelos resultantes, mas não têm visibilidade sobre a distribuição de treinamento que os produz. Trabalhos anteriores para inferir dados de treinamento, como a inferência de associação, detectam no nível de amostras individuais e, portanto, não conseguem caracterizar a composição global do corpus de treinamento. Apresentamos o WARP, uma estrutura que recupera as misturas de treinamento de um modelo ajustado diretamente a partir de seus pesos divulgados. O WARP interpola entre o modelo base e o modelo ajustado usando fusão de modelos, gerando pseudo-checkpoints que aproximam a trajetória de treinamento ausente e expõem uma pegada geométrica dos dados de treinamento no espaço de pesos. A partir dessas pegadas simuladas, o WARP extrai características geométricas e as mapeia para proporções de domínio usando uma leitura softmax sem parâmetros ou um projetor MLP treinado em misturas sintéticas. Em experimentos controlados com BERT e GPT-2, o WARP recupera misturas de domínios com um MAE médio tão baixo quanto 0,046 e 0,104 respectivamente, superando a inferência de associação e uma variante com acesso à verdadeira trajetória de treinamento.
Agentes baseados em modelos de linguagem de grande porte (LLM) podem resolver tarefas processuais complexas interagindo com ambientes ao longo de múltiplas rodadas, mas essa capacidade geralmente depende de modelos grandes, contextos longos e chamadas repetidas de inferência. Isso torna agentes avançados com aumento de memória difíceis de implantar em dispositivos com recursos limitados. Apresentamos o DuoMem, uma estrutura de destilação em dois espaços que transfere a capacidade de resolução de problemas processuais de um modelo professor grande para modelos alunos compactos. O DuoMem destila em dois espaços complementares: (1) destilação no espaço de contexto, que substitui as memórias geradas pelo aluno por memórias processuais de maior qualidade geradas pelo professor, anexadas à entrada do aluno; e (2) destilação no espaço de parâmetros, que ajusta finamente adaptadores LoRA leves em trajetórias bem-sucedidas do professor. Avaliado no ALFWorld, um desafiador benchmark de tomada de decisão corporificada, o DuoMem eleva um modelo de 4 bilhões de parâmetros de uma taxa de sucesso de 4,3% para 77,9%, fechando a maior parte da lacuna em relação ao modelo professor de 72 bilhões de parâmetros (87,1%), enquanto adiciona menos de 10 milhões de parâmetros treináveis e apenas alguns megabytes de memórias do professor pré-computadas. Além disso, o modelo de 4B aprimorado pelo DuoMem conclui tarefas mais de 3 vezes mais rápido que o professor de 72B em tempo real de relógio, tornando-o viável para implantação em tempo real na borda, o que seria desafiador para o professor. Ablações extensivas em oito modelos que abrangem de 2B a 72B parâmetros revelam que ambos os eixos de destilação contribuem de forma complementar.
Aprendizagem por reforço com recompensas verificáveis (ARV) foi estendida do treinamento em domínio único para conjuntos de raciocínio multidomínio abrangendo matemática, programação e ciências. No entanto, o currículo de treinamento (com que frequência cada domínio é amostrado) é tipicamente fixo ou ajustado manualmente, mesmo que as habilidades de raciocínio sejam transferidas de forma desigual entre os domínios. Os currículos existentes baseados em aprendibilidade adaptam-se ao local onde a política está atualmente melhorando, mas são cegos para saber se um passo de gradiente no domínio selecionado beneficia os demais domínios. Neste artigo, propomos o Currículo Ciente de Transferência (CCT), um currículo online estilo bandido que prioriza domínios cujas atualizações beneficiam amplamente o restante do conjunto de treinamento. O CCT reaproveita sinais já produzidos pelo treinamento AR: as vantagens por domínio capturam a aprendibilidade local, e os gradientes projetados, obtidos a partir da etapa GRPO que está sendo calculada, estimam a transferibilidade entre domínios via alinhamento geométrico de gradientes, a um custo desprezível (<1% de sobrecarga de tempo de relógio). Em um conjunto de raciocínio de seis domínios, o CCT alcança a melhor acurácia macro-média tanto no Qwen3-1.7B quanto no Llama3.2-3B, superando a amostragem aleatória proporcional, um cronograma projetado manualmente e um bandido apenas de aprendibilidade, e melhorando sobre este último em até 2,8 pontos (10% relativo). Ablações mostram que o desempenho degrada acentuadamente quando o termo de transferibilidade é removido, e o CCT permanece robusto em misturas de treinamento desbalanceadas onde currículos apenas de aprendibilidade se comprometem excessivamente com domínios dominantes. Nossos achados estabelecem a transferibilidade entre domínios como um sinal chave para o design de currículos em ARV multidomínio.
Matrizes de tráfego (TMs) capturam a demanda origem-destino em toda a rede e são centrais para a engenharia de tráfego, mas a previsão precisa de toda a matriz continua desafiadora quando a predição deve ser realizada sob as restrições de memória, atualização e orçamento de treinamento do controle de rede online. Este artigo investiga se modelos recorrentes compactos inspirados em quântica podem fornecer previsões eficazes de TMs sem depender de módulos dedicados de grafo, transformador ou difusão. Adaptamos programadores de peso rápido de rede Kolmogorov-Arnold inspirados em quântica e com portas (QKAN-FWPs) para previsão direta de múltiplos passos da TM de Abilene, onde cada modelo prevê os próximos 20 quadros de cinco minutos de uma matriz origem-destino (OD) de 144 canais a partir de um histórico de duas horas. Comparamos três variantes de posicionamento do QKAN com uma rede de memória de longo prazo de curto prazo (LSTM) de tamanho equivalente, uma LSTM maior e um programador de peso rápido clássico com portas, sob um protocolo de treinamento de orçamento fixo compartilhado. Entre os modelos recorrentes avaliados, o G-QKANFWP alcança o melhor erro quadrático médio (RMSE) agrupado, utilizando apenas 22,4% da LSTM maior. Ele também supera tanto a LSTM de tamanho equivalente quanto a linha de base clássica G-FWP, indicando que o ganho não se deve apenas à estrutura de peso rápido com portas. Análises de convergência e por canal mostram ainda que as variantes inspiradas em quântica obtêm área sob a curva de aprendizado (AULC) do erro de validação menor do que as linhas de base recorrentes de tamanho equivalente, enquanto G-QKANFWP e GQKAN-FWP alcançam substancialmente mais vitórias em canais OD. Esses resultados identificam um programador lento clássico com um programador rápido inspirado em quântica como uma abordagem promissora de precisão-eficiência para previsão de matrizes de tráfego de rede com consciência de recursos.
Abordagens baseadas em grade para busca aproximada do vizinho mais próximo (ANN) têm estado ausentes das análises modernas de escalonamento. Apresentamos uma caracterização sistemática de um algoritmo de grade multiprobe com relação ao tamanho do conjunto de dados N e à dimensionalidade d. Nossos experimentos revelam um crossover de escalonamento em d anteriormente não reportado na família de embeddings GloVe, no qual a busca em grade multiprobe mantém um expoente de escalonamento dimensional aproximadamente constante, enquanto outros métodos baseados em grafos, árvores e particionamento apresentam degradação na taxa de transferência. A vantagem vem com escalonamento de consulta quase linear em N, mas também com menor custo de indexação do que métodos ANN concorrentes. Nossos resultados sugerem que métodos baseados em grade, como a grade multiprobe, podem ser competitivos em cenários com alta frequência de reconstrução ou em alta dimensionalidade, onde o custo de indexação e a robustez dimensional determinam o desempenho. De forma mais ampla, trabalhos recentes formalizaram a autoatenção como uma operação ANN. Assim, as propriedades de escalonamento em N e d dos algoritmos ANN podem orientar a análise de custo de arquiteturas eficientes de transformers. O código está disponível em: https://github.com/weiz345/MultiProbeANN.