Papers Diários

Escalar Diffusion Transformers (DiTs) para centenas de camadas introduz uma vulnerabilidade estrutural: as redes podem entrar em um estado de colapso silencioso e dominado pela média que homogeneíza as representações dos tokens e suprime a variação centrada. Por meio de auditoria mecanicista, isolamos o evento desencadeador desse colapso como Grito do Modo Médio (Mean Mode Screaming, MMS). O MMS pode ocorrer mesmo quando o treinamento parece estável, com um choque retrógrado coerente com a média nos escritores residuais que abre ramos residuais profundos e leva a rede a um estado dominado pela média. Mostramos que esse comportamento é impulsionado por uma decomposição exata desses gradientes em componentes coerentes com a média e centrados, agravada pela supressão estrutural dos gradientes de logits de atenção através do espaço nulo do Jacobiano da Softmax uma vez que os valores se homogeneízam. Para lidar com isso, propomos os Residuais de Divisão Média-Variância (Mean-Variance Split, MV-Split), que combinam uma atualização residual centrada com ganho separado com uma substituição leaky da média do tronco. Em um DiT de fluxo único com 400 camadas, o MV-Split evita o colapso divergente que quebra a linha de base não estabilizada; ele segue próximo à trajetória pré-colisão da linha de base, enquanto permanece substancialmente melhor do que métodos de gating isotrópico de tokens, como o LayerScale, ao longo de todo o cronograma. Finalmente, apresentamos um DiT de 1000 camadas como uma execução de validação de escala em escalas limite, estabelecendo que a arquitetura permanece treinável de forma estável em profundidade extrema.

Com o surgimento de plataformas online de vídeos de dança e os rápidos avanços em conteúdo gerado por inteligência artificial (AIGC), a geração de dança orientada por música emergiu como uma direção de pesquisa promissora. Apesar do progresso substancial em domínios relacionados, como geração de dança 3D orientada por música, animação de imagem guiada por pose e síntese de cabeça falante guiada por áudio, os métodos existentes não podem ser diretamente adaptados a essa tarefa. Além disso, os estudos limitados nessa área ainda enfrentam dificuldades em alcançar conjuntamente alta qualidade visual e movimento humano realista. Assim, apresentamos o MACE-Dance, uma estrutura de geração de vídeos de dança orientada por música com Mistura de Especialistas (MoE) em cascata. O Expert em Movimento realiza a geração de movimento 3D a partir de música, impondo plausibilidade cinemática e expressividade artística, enquanto o Expert em Aparência realiza a síntese de vídeo condicionada por movimento e referência, preservando a identidade visual com coerência espaço-temporal. Especificamente, o Expert em Movimento adota um modelo de difusão com uma arquitetura híbrida BiMamba-Transformer e uma estratégia de Treinamento Livre de Orientação (GFT), alcançando desempenho de estado da arte (SOTA) na geração de dança 3D. O Expert em Aparência emprega uma estratégia de ajuste fino estético-cinemático desacoplado, alcançando desempenho de estado da arte (SOTA) na animação de imagem guiada por pose. Para melhor avaliar essa tarefa, organizamos um conjunto de dados diverso e em larga escala e projetamos um protocolo de avaliação movimento-aparência. Com base nesse protocolo, o MACE-Dance também alcança desempenho de estado da arte. O código está disponível em https://github.com/AMAP-ML/MACE-Dance.

Modelos existentes de Flow Matching (FM) para texto-para-imagem sofrem de dois gargalos críticos sob alinhamento multitarefa: a esparsidade de recompensa induzida por recompensas escalares e a interferência de gradientes decorrente da otimização conjunta de objetivos heterogêneos, que juntos geram um "efeito gangorra" de métricas concorrentes e um hacking de recompensa generalizado. Inspirados pelo sucesso da destilação on-policy (OPD) na comunidade de grandes modelos de linguagem, propomos o Flow-OPD, o primeiro framework de pós-treinamento unificado que integra destilação on-policy em modelos de Flow Matching. O Flow-OPD adota uma estratégia de alinhamento em duas etapas: primeiro, cultiva modelos professores especializados em domínios por meio de ajuste fino GRPO com recompensa única, permitindo que cada especialista atinja seu teto de desempenho de forma isolada; em seguida, estabelece uma política inicial robusta por meio de um esquema de partida a frio baseado em Flow e consolida de forma contínua as expertises heterogêneas em um único estudante por meio de uma orquestração de três etapas de amostragem on-policy, rotulagem de roteamento de tarefas e supervisão densa em nível de trajetória. Introduzimos ainda a Regularização de Âncora de Manifold (MAR), que utiliza um professor agnóstico a tarefas para fornecer supervisão de dados completos, ancorando a geração a um manifold de alta qualidade, mitigando efetivamente a degradação estética comumente observada em alinhamento puramente baseado em RL. Construído sobre o Stable Diffusion 3.5 Medium, o Flow-OPD eleva a pontuação GenEval de 63 para 92 e a precisão OCR de 59 para 94, resultando em uma melhoria geral de aproximadamente 10 pontos em relação ao GRPO puro, preservando a fidelidade da imagem e o alinhamento com preferências humanas, e exibindo um efeito emergente de "superação do professor". Esses resultados estabelecem o Flow-OPD como um paradigma de alinhamento escalável para a construção de modelos generalistas de texto-para-imagem.

A aprendizagem por reforço com recompensas verificáveis (RLVR) tornou-se uma abordagem padrão para o pós-treinamento de modelos de linguagem de grande porte (LLMs) com o objetivo de incentivar a capacidade de raciocínio. Entre as receitas existentes, o gradiente de política baseado em grupos é predominante, que amostra um grupo de respostas por prompt e atualiza a política por meio de sinais de vantagem relativos ao grupo. Este trabalho revela que essas estratégias de otimização compartilham uma estrutura geométrica comum: cada uma define implicitamente uma distribuição alvo no simplex de respostas e projeta em direção a ela por meio de uma aproximação de primeira ordem. Com base nessa percepção, propomos a Otimização de Política Listwise (LPO) para conduzir explicitamente a projeção do alvo, que desmistifica o alvo implícito ao restringir o objetivo RL proximal ao simplex de respostas e, em seguida, projeta a política por meio da minimização exata da divergência. Este framework proporciona (i) melhoria monotônica no objetivo listwise com gradientes de projeção limitados, de soma zero e autocorretivos, e (ii) flexibilidade na seleção da divergência com propriedades estruturais distintas por meio da etapa de projeção desacoplada. Em diversas tarefas de raciocínio e backbones de LLMs, a LPO melhora consistentemente o desempenho do treinamento em relação às linhas de base típicas de gradiente de política sob alvos correspondentes, preservando intrinsecamente a estabilidade da otimização e a diversidade das respostas.

Agentes de busca multimodais existentes processam entidades-alvo sequencialmente, realizando uma chamada de ferramenta por entidade e acumulando rodadas de interação redundantes sempre que uma consulta se decompõe em sub-recuperações independentes. Argumentamos que agentes multimodais eficazes devem buscar de forma mais ampla, e não mais longa: despachando múltiplas consultas fundamentadas simultaneamente dentro de uma rodada. Para isso, apresentamos HyperEyes, um agente de busca multimodal paralelo que funde ancoragem visual e recuperação em uma única ação atômica, permitindo busca concorrente em múltiplas entidades enquanto trata a eficiência de inferência como um objetivo de treinamento de primeira classe. O HyperEyes é treinado em dois estágios. Para supervisão de inicialização a frio, desenvolvemos um Pipeline de Síntese de Dados Paralelizável, abrangendo consultas visuais de múltiplas entidades e textuais de múltiplas restrições, curando trajetórias orientadas à eficiência por meio de Amostragem por Rejeição Progressiva. Com base nisso, nossa contribuição central, um framework de Aprendizado por Reforço Consciente de Eficiência em Duas Escalas, opera em dois níveis. No nível macro, propomos TRACE (Eficiência de Custo Adaptativa à Referência de Uso de Ferramenta), uma recompensa no nível da trajetória cuja referência é monotonicamente ajustada durante o treinamento para suprimir chamadas de ferramenta supérfluas sem restringir a busca genuína de múltiplos saltos. No nível micro, adaptamos a Destilação On-Policy para injetar sinais corretivos densos no nível dos tokens provenientes de um professor externo em rollouts fracassados, mitigando a deficiência de atribuição de crédito das recompensas esparsas de resultado. Como os benchmarks existentes avaliam apenas a acurácia como métrica, omitindo o custo de inferência, introduzimos IMEB, um benchmark curado por humanos com 300 instâncias que avalia conjuntamente capacidade de busca e eficiência. Em seis benchmarks, o HyperEyes-30B supera o agente de código aberto comparável mais forte em 9,9% na acurácia, com 5,3 vezes menos rodadas de chamada de ferramenta em média.

**Escalonamento em Tempo de Teste (TTS)** tornou-se uma abordagem eficaz para melhorar o desempenho de modelos de linguagem de grande escala ao alocar computação adicional durante a inferência. No entanto, as estratégias de TTS existentes são em grande parte manuais: pesquisadores projetam padrões de raciocínio e ajustam heurísticas por intuição, deixando grande parte do espaço de alocação de computação inexplorado. Propomos um framework orientado por ambiente, **AutoTTS**, que altera o que os pesquisadores projetam: de heurísticas individuais de TTS para ambientes onde estratégias de TTS podem ser descobertas automaticamente. A chave do AutoTTS está na construção do ambiente: o ambiente de descoberta deve tornar o espaço de controle tratável e fornecer feedback barato e frequente para a busca de TTS. Como uma instanciação concreta, formulamos o TTS de largura--profundidade como síntese de controlador sobre trajetórias de raciocínio pré-coletadas e sinais de sondagem, onde os controladores decidem quando ramificar, continuar, sondar, podar ou parar e podem ser avaliados de forma barata sem chamadas repetidas de LLM. Introduzimos ainda a parametrização beta para tornar a busca tratável e feedback de traço de execução granular para melhorar a eficiência da descoberta, ajudando o agente a diagnosticar por que um programa TTS falha. Experimentos em benchmarks de raciocínio matemático mostram que as estratégias descobertas melhoram a relação custo-efetividade de precisão em comparação com linhas de base manuais robustas. As estratégias descobertas generalizam para benchmarks retidos e escalas de modelo, enquanto toda a descoberta custa apenas US$ 39,9 e 160 minutos. Nossos dados e código serão disponibilizados em https://github.com/zhengkid/AutoTTS.

O progresso na inteligência incorporada depende cada vez mais de infraestruturas de dados escaláveis. Embora a visão e a linguagem tenham se beneficiado de corpora da internet, o aprendizado de interação física ainda é limitado pela escassez de dados de atividades humanas amplos, diversificados e ricamente anotados. Apresentamos o HumanNet, um corpus de vídeo centrado no ser humano com um milhão de horas, que captura em escala como os humanos interagem com o mundo físico. O HumanNet abrange perspectivas em primeira e terceira pessoa, cobrindo atividades granulares, interações humano-objeto, uso de ferramentas e comportamentos de longo prazo em diversos ambientes do mundo real. Além do vídeo bruto, o conjunto de dados fornece anotações centradas na interação, incluindo legendas, descrições de movimento e sinais relacionados às mãos e ao corpo, permitindo aprendizado consciente do movimento e da interação. Além da escala, o HumanNet introduz um paradigma sistemático de curadoria de dados para aprendizado incorporado, onde filtragem centrada no humano, estruturação temporal, diversidade de perspectiva e enriquecimento de anotações são tratados como princípios de design fundamentais. Esse projeto transforma vídeos não estruturados da internet em um substrato escalável para aprendizado de representação, compreensão de atividades, geração de movimento e transferência humano-robô. Realizamos uma validação inicial do valor desse design por meio de uma abordagem controlada de ablação visão-linguagem-ação: em um conjunto fixo de dados de validação, o treinamento contínuo do modelo Qwen VLM com 1000 horas de vídeo egocêntrico extraído do HumanNet supera o treinamento com 100 horas de dados reais de robôs do Magic Cobot, indicando que vídeos humanos egocêntricos podem ser um substituto escalável e econômico para dados robóticos. Com este projeto, buscamos explorar a oportunidade de dimensionar modelos de base incorporados usando vídeos centrados no ser humano, em vez de depender exclusivamente de dados específicos para robôs.

O treinamento de modelos de linguagem de grande escala multimodais tem sido historicamente limitado pela escassez de dados multimodais pareados de alta qualidade. Estudos recentes demonstram que o espaço de representação compartilhado de modelos contrastivos multimodais pré-treinados pode servir como uma ponte, permitindo que modelos realizem treinamento multimodal com dados unimodais. No entanto, a premissa central desse paradigma ainda é insuficientemente compreendida: as representações de diferentes modalidades podem ser intercambiáveis de forma confiável? O principal obstáculo reside na persistente Lacuna de Modalidade no espaço compartilhado. Neste trabalho, revisitamos a natureza geométrica da lacuna de modalidade. Descobrimos que as representações das modalidades já compartilham uma geometria semântica dominante compatível. O que realmente dificulta a intercambialidade modal não é um simples deslocamento global, mas uma estrutura residual anisotrópica concentrada ao longo de um pequeno número de direções dominantes. Com base nessa descoberta, propomos ainda o princípio do alinhamento anisotrópico da lacuna de modalidade: um alinhamento modal eficaz deve alinhar-se com a distribuição da modalidade alvo, preservando a estrutura semântica da modalidade fonte. Guiados por esse princípio, propomos um quadro de correção geométrica anisotrópica, denominado AnisoAlign, para o alinhamento de modalidades não pareadas. Esse quadro aproveita o prior geométrico interno da modalidade alvo e realiza correção limitada nas representações da modalidade fonte, construindo assim representações substitutas na modalidade alvo. Experimentos confirmam seus benefícios tanto no diagnóstico geométrico quanto no treinamento de MLLMs baseados apenas em texto. De modo geral, este trabalho reformula a lacuna de modalidade, de uma observação empírica para um fenômeno geométrico estruturado e corrigível, e oferece uma nova perspectiva de alinhamento de representações para o treinamento de modelos multimodais com dados unimodais.

A busca de código tem sido geralmente avaliada como recuperação em primeiro estágio, mesmo que sistemas de produção dependam de pipelines mais amplos com reclassificação e consultas no estilo de desenvolvedores. Os benchmarks existentes também sofrem com contaminação de dados, ruído de rótulos e relevância binária degenerada. Neste artigo, apresentamos o CoREB, um benchmark de recuperação e reclassificação de código multitarefa com limitação de contaminação, juntamente com um reclassificador de código ajustado, que vai além da recuperação para cobrir todo o pipeline de busca de código. O CoREB é construído a partir de problemas do LiveCodeBench reescritos contrafactualmente em cinco linguagens de programação e entregue como lançamentos temporizados com julgamentos de relevância graduados. Comparamos onze modelos de embeddings e cinco reclassificadores em três tarefas: texto-para-código, código-para-texto e código-para-código. Nossos experimentos revelam que: ① embeddings especializados em código dominam a recuperação código-para-código (cerca de 2× em relação aos codificadores gerais), embora nenhum modelo vença todas as três tarefas; ② consultas curtas com palavras-chave, o formato mais próximo da busca real de desenvolvedores, reduzem todos os modelos a nDCG@10 próximo de zero; ③ reclassificadores prontos para uso são assimétricos por tarefa, com uma variação de 12 pontos em código-para-código e nenhum baseline com ganho líquido positivo em todas as tarefas; ④ nosso CoREB-Reranker ajustado é o primeiro a obter ganhos consistentes em todas as três tarefas. Os dados e o modelo são disponibilizados.

Agentes de IA estão cada vez mais sendo implantados em diversos domínios para automatizar fluxos de trabalho complexos por meio de execuções de ações de longo horizonte e alto risco. Devido à sua alta capacidade e flexibilidade, tais agentes levantam preocupações significativas de segurança e proteção. Um número crescente de incidentes reais tem mostrado que adversários podem facilmente manipular agentes para realizar ações prejudiciais, como vazar chaves de API, excluir dados de usuários ou iniciar transações não autorizadas. Avaliar a segurança de agentes é intrinsecamente desafiador, pois os agentes operam em ambientes dinâmicos e não confiáveis, envolvendo ferramentas externas, fontes de dados heterogêneas e interações frequentes com usuários. No entanto, ambientes realistas, controláveis e reproduzíveis para avaliação de risco em larga escala permanecem amplamente inexplorados. Para preencher essa lacuna, apresentamos a Plataforma DecodingTrust-Agent (DTap), a primeira plataforma controlável e interativa de red-teaming para agentes de IA, abrangendo 14 domínios do mundo real e mais de 50 ambientes de simulação que replicam sistemas amplamente utilizados, como Google Workspace, PayPal e Slack. Para dimensionar a avaliação de risco de agentes na DTap, propomos ainda o DTap-Red, o primeiro agente autônomo de red-teaming que explora sistematicamente diversos vetores de injeção (por exemplo, prompt, ferramenta, habilidade, ambiente, combinações) e descobre de forma autônoma estratégias de ataque eficazes adaptadas a diferentes objetivos maliciosos. Usando o DTap-Red, curamos o DTap-Bench, um conjunto de dados de red-teaming em larga escala composto por instâncias de alta qualidade em vários domínios, cada uma acompanhada por um juiz verificável para validar automaticamente os resultados dos ataques. Por meio da DTap, realizamos avaliações em larga escala de agentes de IA populares construídos sobre diversos modelos base, abrangendo políticas de segurança, categorias de risco e estratégias de ataque, revelando padrões sistemáticos de vulnerabilidade e fornecendo insights valiosos para o desenvolvimento de agentes seguros de próxima geração.

Transformadores de Difusão (DiT) treinados com correspondência de fluxo em um espaço latente de VAE unificaram a geração visual em imagens e vídeos. Um passo natural em direção a uma arquitetura única tanto para geração (síntese visual) quanto para compreensão (geração de texto) é aplicar esse framework à modelagem de linguagem. Propomos o TextLDM, que transfere a receita de difusão visual latente para a geração de texto com modificação arquitetural mínima. Um VAE baseado em Transformer mapeia tokens discretos para latentes contínuos, aprimorado pelo Alinhamento de Representações (REPA) com um modelo de linguagem pré-treinado congelado para produzir representações eficazes para remoção de ruído condicional. Um DiT padrão então realiza correspondência de fluxo nesse espaço latente, idêntico em arquitetura à sua contraparte visual. O desafio central que abordamos é obter representações contínuas de texto de alta qualidade: descobrimos que a fidelidade de reconstrução sozinha é insuficiente, e que alinhar características latentes com um modelo de linguagem pré-treinado via REPA é crucial para a qualidade da geração downstream. Treinado do zero no OpenWebText2, o TextLDM supera substancialmente modelos anteriores de linguagem por difusão e iguala o GPT-2 sob as mesmas configurações. Nossos resultados estabelecem que a receita do DiT visual se transfere eficazmente para a linguagem, dando um passo concreto em direção a arquiteturas de difusão unificadas para geração e compreensão multimodal.

À medida que os modelos de linguagem de grande porte (LLMs) continuam a avançar rapidamente, tornam-se cada vez mais capazes, ao mesmo tempo que exigem comprimentos de contexto cada vez maiores. Para melhorar a eficiência de inferência no processamento de contextos longos, várias arquiteturas híbridas de baixa complexidade foram recentemente propostas, aliviando efetivamente a carga computacional da inferência com contextos longos. No entanto, a pesquisa existente sobre aceleração de pré-preenchimento para contextos longos permanece predominantemente focada em mecanismos de atenção esparsa, que atingem sua aceleração máxima apenas em modelos de atenção completa. Quando transferidas para arquiteturas emergentes — como híbridos de atenção linear/completa ou híbridos de atenção com janela deslizante/completa — essas abordagens de aceleração de pré-preenchimento sofrem degradação significativa de desempenho. Além disso, tais métodos são geralmente incompatíveis com o agrupamento contínuo, dificultando sua integração em motores de inferência modernos, como o vLLM. Para isso, propomos o UniPrefill, uma estrutura de aceleração de pré-preenchimento aplicável a praticamente qualquer arquitetura de modelo, que acelera diretamente o cálculo do modelo no nível do token. Implementamos ainda o UniPrefill como um operador de agrupamento contínuo e estendemos a estratégia de escalonamento do vLLM para suportar nativamente o coprocessamento pré-preenchimento/decodificação e o paralelismo de tensor para o UniPrefill, permitindo sua integração contínua no vLLM. O UniPrefill alcança até 2,1x de aceleração no Tempo até o Primeiro Token (TTFT), com a aceleração se tornando cada vez mais pronunciada à medida que o número de solicitações concorrentes cresce.

A aprendizagem por reforço (RL) melhorou substancialmente a capacidade de agentes baseados em modelos de linguagem de grande escala (LLMs) interagirem com ambientes e resolverem tarefas de múltiplas etapas. No entanto, uma RL agentiva eficaz continua desafiadora: recompensas esparsas baseadas apenas em resultados finais fornecem orientação limitada para atribuir crédito a passos individuais dentro de trajetórias de interação longas. Abordagens existentes frequentemente introduzem supervisão intermediária densa, como modelos de recompensa processual ou sinais auxiliares auto-supervisionados, o que aumenta a complexidade da supervisão e do ajuste fino, podendo limitar a generalização entre tarefas e domínios. Apresentamos o AEM, um método de atribuição de crédito livre de supervisão que modula adaptativamente a dinâmica de entropia durante o treinamento de RL para melhorar o equilíbrio entre exploração e aproveitamento. Como na RL agentiva o ambiente é tipicamente afetado por uma resposta completa, e não por um token individual, nossa análise eleva a dinâmica de entropia do nível do token para o nível da resposta, alinhando a estimativa de incerteza com a granularidade efetiva das ações dos agentes LLM e reduzindo a sensibilidade ao ruído amostral no nível de tokens. Mostramos ainda que o desvio de entropia sob atualizações de gradiente natural é governado pela interação entre a vantagem da resposta amostrada e sua surpresa relativa. Motivado por esse resultado, o AEM deriva uma proxy prática de incerteza no nível de resposta e a utiliza para reescalar as vantagens, aproveitando o equilíbrio evolutivo entre amostras positivas e negativas para transitar naturalmente da exploração para o aproveitamento. Experimentos extensivos em ALFWorld, WebShop e SWE-bench-Verified com modelos variando de 1,5B a 32B demonstram que o AEM melhora consistentemente linhas de base fortes de RL, incluindo um ganho de +1,4% quando integrado a um arcabouço de treinamento de RL de engenharia de software de última geração.

Raciocínio espacial dinâmico a partir de vídeos monoculares é essencial para conectar a inteligência visual ao mundo físico, mas continua desafiador para modelos de visão-linguagem (VLMs). Abordagens anteriores ou verbalizam o raciocínio espaço-temporal inteiramente como texto, o que é inerentemente prolixo e impreciso para dinâmicas complexas, ou dependem de módulos geométricos externos que aumentam a complexidade da inferência sem fomentar a capacidade intrínseca do modelo. Neste artigo, apresentamos o 4DThinker, a primeira arquitetura que permite que VLMs "pensem em 4D" por meio de imagens mentais latentes dinâmicas, ou seja, simulando internamente como as cenas evoluem no espaço oculto contínuo. Especificamente, introduzimos primeiro um pipeline escalável e livre de anotações para geração de dados que sintetiza dados de raciocínio 4D a partir de vídeos brutos. Em seguida, propomos o Ajuste Fino de Imagens Dinâmicas (DIFT), que supervisiona conjuntamente tokens textuais e latentes 4D para fundamentar o modelo em semânticas visuais dinâmicas. Com base nisso, a Aprendizagem por Reforço 4D (4DRL) aborda tarefas de raciocínio complexas por meio de recompensas baseadas em resultados, restringindo os gradientes de política a tokens de texto para garantir otimização estável. Experimentos extensivos em múltiplos benchmarks de raciocínio espacial dinâmico demonstram que o 4DThinker supera consistentemente linhas de base fortes e oferece uma nova perspectiva para o raciocínio 4D em VLMs. Nosso código está disponível em https://github.com/zhangquanchen/4DThinker.

Com o aumento da escala de modelos de aprendizado profundo para bilhões de parâmetros, o custo computacional do ajuste fino continua sendo uma barreira significativa para a implantação. Embora a Adaptação de Baixo Posto (LoRA) tenha se tornado o padrão para ajuste fino eficiente em parâmetros, a necessidade de definir um posto estático e pré-determinado *r* exige buscas exaustivas em grade para equilibrar eficiência e desempenho. Soluções adaptativas de posto existentes, como a DyLoRA, mitigam esse problema amostrando postos durante o treinamento a partir de uma distribuição pré-definida. No entanto, frequentemente produzem resultados subótimos em postos mais altos devido à falta de sinais de gradiente consistentes em toda a hierarquia de postos, tornando esses métodos ineficientes em dados. Neste artigo, propomos o MatryoshkaLoRA, uma estrutura de treinamento geral inspirada na Matryoshka para o LoRA que aprende representações hierárquicas precisas de baixo posto ao inserir uma matriz diagonal fixa e cuidadosamente elaborada **P** entre os adaptadores LoRA existentes para escalar seus subpostos adequadamente. Ao introduzir essa modificação simples, nossa estrutura geral recupera o LoRA e o DyLoRA apenas alterando **P** e garante que todos os subpostos incorporem eficientemente a informação de gradiente disponível. Nosso MatryoshkaLoRA suporta seleção dinâmica de posto com degradação mínima na precisão. Propomos ainda a Área sob a Curva de Precisão por Posto (AURAC), uma métrica que avalia consistentemente o desempenho de adaptadores hierárquicos de baixo posto. Nossos resultados demonstram que o MatryoshkaLoRA aprende representações hierárquicas de baixo posto mais precisas do que abordagens adaptativas de posto anteriores e alcança compensações superiores entre precisão e desempenho entre postos nos conjuntos de dados avaliados. Nosso código está disponível em https://github.com/IST-DASLab/MatryoshkaLoRA.

A teoria do rastreamento de estados em arquiteturas recorrentes tem se concentrado predominantemente na capacidade expressiva: se uma arquitetura fixa pode, teoricamente, realizar um conjunto de regras de transição simbólicas. Argumentamos que igualmente importante é o controle de erros, a dinâmica que governa o desvio do estado oculto ao longo das direções que distinguem estados simbólicos. Provamos que redes recorrentes afins, uma classe de modelos que abrange Modelos de Espaço de Estados e Atenção Linear, não conseguem corrigir erros ao longo de subespaços de separação de estados uma vez que preservam representações de estado. Consequentemente, rastreadores afins práticos não aprendem um rastreamento robusto de estados; em vez disso, aprendem soluções de horizonte finito governadas pelo erro acumulado relevante ao estado. Caracterizamos a mecânica dessa falha, mostrando que o rastreamento permanece legível apenas enquanto a dispersão intraclasse acumulada permanece pequena em relação à separação interclasse inicial. Demonstramos empiricamente, em tarefas de rastreamento de estado em grupo, que esse colapso é previsível: o rastreamento colapsa quando a razão de distinguibilidade ultrapassa o limiar de legibilidade do decodificador treinado. Através de modelos treinados, o ponto desse cruzamento prediz o horizonte em que a precisão downstream falha. Esses resultados estabelecem que o rastreamento robusto de estados é determinado não apenas pela expressividade teórica de uma arquitetura, mas crucialmente pelo seu controle de erros.

O DeepSeek Sparse Attention (DSA) estabelece o estado da arte para atenção esparsa em tempo de inferência de alta granularidade ao introduzir um indexador aprendido por token que pontua cada token de prefixo e seleciona os mais relevantes para a atenção principal. Para manter a expressividade, o indexador utiliza múltiplas cabeças de consulta (por exemplo, 64 no DeepSeek-V3.2) que compartilham o mesmo conjunto de tokens selecionados; esse design multicabeça é justamente o que torna o indexador o principal custo em contextos longos. Propomos o MISA (Mixture of Indexer Sparse Attention), uma substituição direta para o indexador DSA que trata suas cabeças de indexação como um conjunto de especialistas mistos (mixture-of-experts). Um roteador leve utiliza estatísticas em nível de bloco para selecionar um subconjunto dependente da consulta, com apenas algumas cabeças ativas, e apenas essas cabeças executam a pesada pontuação em nível de token. Isso preserva a diversidade do pool original do indexador enquanto reduz o custo por consulta, passando de pontuar cada token de prefixo com todas as cabeças para pontuar apenas com um punhado de cabeças roteadas, além de um termo de roteamento insignificante calculado em um pequeno conjunto de chaves agrupadas. Introduzimos ainda uma variante hierárquica do MISA que utiliza a passagem roteada para manter um conjunto de candidatos ampliado e, em seguida, reclassifica-o com o indexador DSA original para recuperar quase exatamente os tokens selecionados finais. Com apenas oito cabeças ativas e sem treinamento adicional, o MISA iguala o desempenho do indexador denso DSA no LongBench tanto para o DeepSeek-V3.2 quanto para o GLM-5, enquanto opera com oito e quatro vezes menos cabeças de indexação, respectivamente, e supera o HISA em média. Ele também preserva mapas de calor totalmente verdes no teste "Needle-in-a-Haystack" em contextos de até 128 mil tokens e recupera mais de 92% dos tokens selecionados pelo indexador DSA por camada. Nosso kernel TileLang proporciona um ganho de velocidade aproximadamente 3,82 vezes maior em relação ao kernel original do indexador DSA em uma única GPU NVIDIA H200.

Sintetizar vídeos longos consistentes e coerentes continua sendo um desafio fundamental. Os métodos existentes sofrem de deriva semântica e colapso narrativo em horizontes longos. Apresentamos o A²RD, uma arquitetura de Difusão Autoregressiva Agencial que desacopla a síntese criativa da aplicação de consistência. O A²RD formula a síntese de vídeos longos como um processo em malha fechada que sintetiza e melhora automaticamente o vídeo segmento por segmento por meio de um ciclo de Recuperação–Síntese–Refinamento–Atualização. Ele compreende três componentes principais: (i) Memória de Vídeo Multimodal, que acompanha a progressão do vídeo entre modalidades; (ii) Geração Adaptativa de Segmentos, que alterna entre modos de geração para progressão natural e consistência visual; e (iii) Autoaperfeiçoamento Hierárquico em Tempo de Teste, que melhora cada segmento nos níveis de quadro e vídeo para evitar a propagação de erros. Introduzimos ainda o LVBench-C, um benchmark desafiador com transições não lineares de entidades e ambientes para testar a consistência em horizontes longos. Em benchmarks públicos e no LVBench-C, abrangendo vídeos de um a dez minutos, o A²RD supera as linhas de base do estado da arte em até 30% em consistência e 20% em coerência narrativa. Avaliações humanas corroboram esses ganhos, destacando também melhorias notáveis na suavidade de movimento e transição.

A autodestilação (SD) oferece um caminho promissor para adaptar modelos de linguagem de grande porte (LLMs) sem depender de professores externos mais fortes. No entanto, a SD em LLMs autorregressivos continua desafiadora porque as trajetórias autogeradas são de formato livre, a correção depende da tarefa e justificativas plausíveis ainda podem fornecer supervisão instável ou não confiável. Métodos existentes examinam principalmente escolhas de design isoladas, deixando sua eficácia, papéis e interações pouco claros. Neste artigo, propomos o UniSD, um framework unificado para estudar sistematicamente a autodestilação. O UniSD integra mecanismos complementares que abordam a confiabilidade da supervisão, o alinhamento de representações e a estabilidade do treinamento, incluindo concordância entre múltiplos professores, estabilização do professor por EMA, aprendizado contrastivo em nível de token, correspondência de características e recorte de divergência. Em seis benchmarks e seis modelos de três famílias de modelos, o UniSD revela quando a autodestilação melhora em relação à imitação estática, quais componentes impulsionam os ganhos e como esses componentes interagem entre tarefas. Guiados por esses insights, construímos o UniSDfull, um pipeline integrado que combina componentes complementares e alcança o desempenho geral mais forte, melhorando o modelo base em +5,4 pontos e a linha de base mais forte em +2,8 pontos. A avaliação extensa destaca a autodestilação como uma abordagem prática e direcionável para a adaptação eficiente de LLMs sem professores externos mais fortes.

Modelos generativos profundos avançaram rapidamente em texto e visão, motivando sistemas multimodais unificados capazes de compreender, raciocinar e gerar sequências intercaladas de texto e imagem. A maioria das abordagens existentes combina modelagem autorregressiva de linguagem com geradores de imagem baseados em difusão, herdando uma incompatibilidade estrutural entre a geração causal de texto e a remoção de ruído visual iterativa. Observamos que fluxos normalizadores autorregressivos são Transformers autorregressivos—compartilhando a mesma máscara causal, mecanismo de cache KV e estrutura da esquerda para a direita que os LLMs—tornando-os o paradigma mais natural para a verdadeira geração multimodal unificada. Apresentamos o STARFlow2, construído sobre a arquitetura Pretzel que intercala verticalmente um fluxo VLM pré-treinado com um fluxo TarFlow por meio de conexões de salto residuais, ambos operando sob a mesma máscara causal. Combinado com um design de fluxo profundo-raso e um espaço latente FAE unificado, o STARFlow2 permite geração intercalada compatível com cache, onde tanto saídas de texto quanto visuais entram diretamente no cache KV sem necessidade de recodificação. Experimentos demonstram desempenho robusto em benchmarks de geração de imagem e compreensão multimodal, validando fluxos autorregressivos como uma base viável para modelagem multimodal unificada.

Modelos baseados em difusão decompõem a amostragem em várias etapas pequenas de remoção de ruído gaussiano — uma suposição que colapsa quando a geração é comprimida em algumas transições grosseiras. Métodos existentes de poucas etapas abordam isso por meio de destilação, treinamento de consistência ou objetivos adversariais, mas sacrificam o arcabouço de verossimilhança no processo. Apresentamos os Modelos de Trajetória Normalizante (MTN), que modelam cada etapa reversa como um fluxo normalizante condicional expressivo com treinamento de verossimilhança exata. Arquiteturalmente, o MTN combina blocos invertíveis rasos dentro de cada etapa com um preditor paralelo profundo ao longo da trajetória, formando uma rede ponta a ponta treinável do zero ou inicializável a partir de modelos de correspondência de fluxo pré-treinados. Sua verossimilhança exata da trajetória permite ainda a autodestilação: um removedor de ruído leve treinado no próprio escore do modelo produz amostras de alta qualidade em quatro etapas. Em benchmarks de texto para imagem, o MTN iguala ou supera fortes linhas de base de geração de imagem em apenas quatro etapas de amostragem, ao mesmo tempo que retém exclusivamente a verossimilhança exata sobre a trajetória generativa.

Os métodos de Geração Aumentada por Recuperação (RAG) melhoram o desempenho dos LLMs ao filtrar eficientemente o contexto relevante para os LLMs, reduzindo alucinações e o custo de inferência. No entanto, a maioria dos métodos RAG existentes concentra-se na recuperação de etapa única, o que muitas vezes é insuficiente para responder a perguntas complexas que exigem busca em múltiplas etapas. Recentemente, surgiram abordagens de recuperação em múltiplas etapas, que geralmente envolvem o ajuste fino de LLMs pequenos para realizar a recuperação em múltiplas etapas. Esse tipo de ajuste fino é altamente intensivo em recursos e não permite o uso de LLMs maiores. Neste trabalho, propomos o Q-RAG, uma abordagem inovadora que ajusta o modelo Embedder para recuperação em múltiplas etapas usando aprendizado por reforço (RL). O Q-RAG oferece uma alternativa competitiva e eficiente em recursos aos métodos existentes de recuperação em múltiplas etapas para resposta a perguntas em domínio aberto e alcança resultados de ponta nos populares benchmarks de contexto longo BabiLong e RULER para contextos de até 10 milhões de tokens. O código está disponível em https://github.com/griver/Q-RAG.

Tokenizadores são um componente crucial dos modelos de difusão latente, pois definem o espaço latente no qual os modelos de difusão operam. No entanto, os tokenizadores existentes são projetados principalmente para melhorar a fidelidade de reconstrução ou herdar representações pré-treinadas, deixando incerto que tipo de espaço latente é verdadeiramente favorável para a modelagem generativa. Neste artigo, estudamos essa questão sob a perspectiva da organização da variedade latente. Ao construir variantes controladas de tokenizadores, identificamos três propriedades-chave de uma variedade latente amigável à difusão: estrutura espacial coerente, continuidade local da variedade e semântica global da variedade. Constatamos que essas propriedades são mais consistentes com a qualidade da geração a jusante do que com a fidelidade de reconstrução. Motivados por essa descoberta, propomos o Autoencoder Alinhado por Prior (PAE), que molda explicitamente a variedade latente, em vez de deixar que uma variedade amigável à difusão surja indiretamente da reconstrução ou herança. Especificamente, o PAE aproveita priores refinados derivados de modelos de fundamentos visuais (VFM) e regularização baseada em perturbações para transformar estrutura espacial, continuidade local e semântica global em objetivos explícitos de treinamento. No ImageNet 256x256, o PAE melhora tanto a eficiência do treinamento quanto a qualidade da geração em comparação com tokenizadores existentes, alcançando desempenho comparável ao RAE com convergência até 13x mais rápida sob a mesma configuração de treinamento e obtendo um novo gFID estado da arte de 1,03. Esses resultados destacam a importância de organizar a variedade latente para modelos de difusão latente.

A rápida convergência da inteligência artificial (IA) para interfaces de chatbots conversacionais marca um momento crítico para a indústria. Este artigo argumenta que o paradigma do chatbot não é uma escolha de interface neutra, mas uma configuração sociotécnica dominante cuja adoção generalizada remodela sistemas sociais, econômicos, legais e ambientais. Examinamos como o tratamento da IA principalmente como assistentes conversacionais apresenta desvantagens estruturais significativas. Demonstramos como sistemas baseados em chatbots frequentemente falham em atender adequadamente às necessidades dos usuários, especialmente em contextos complexos ou de alto risco, ao mesmo tempo que projetam confiança e autoridade. Analisamos ainda como a normalização da interação mediada por chatbots altera padrões de trabalho, aprendizagem e tomada de decisão, contribuindo para a perda de habilidades, homogeneização do conhecimento e mudanças nas expectativas de especialização. Por fim, examinamos efeitos societais mais amplos, incluindo deslocamento de mão de obra, concentração de poder econômico e aumento de custos ambientais impulsionados por investimentos contínuos em infraestruturas de chatbots em larga escala. Embora reconheçamos benefícios legítimos, argumentamos que a trajetória atual do desenvolvimento de IA reflete escolhas de valores específicas que priorizam a generalidade conversacional em detrimento da especificidade de domínio, responsabilidade e sustentabilidade social a longo prazo. Concluímos delineando direções alternativas para o desenvolvimento e governança da IA que vão além dos chatbots universais, enfatizando designs de sistema pluralísticos, ferramentas específicas para tarefas e salvaguardas institucionais para mitigar danos sociais e econômicos.

Embora os modelos de texto para imagem tenham avançado significativamente em fidelidade visual, a realização fiel de intenções visuais complexas continua desafiadora, pois muitos requisitos precisam ser rastreados ao longo do embasamento, geração e verificação. Referimo-nos a esses requisitos como compromissos semânticos e formalizamos sua descontinuidade no ciclo de vida como a Ruptura Conceitual, onde os compromissos podem ser localmente resolvidos ou verificados, mas deixam de ser identificáveis como as mesmas unidades operacionais ao longo do ciclo de vida da geração. Para lidar com isso, propomos o SCOPE, um framework de orquestração de habilidades guiado por especificações que mantém compromissos semânticos em uma especificação estruturada em evolução e invoca condicionalmente habilidades de recuperação, raciocínio e reparo em torno de compromissos não resolvidos ou violados. Para avaliar a realização de intenções ao nível de compromissos, introduzimos o Gen-Arena, um benchmark anotado por humanos com especificações em nível de entidade e restrição, juntamente com a Taxa de Aprovação de Intenção com Portão de Entidade (EGIP), um critério rigoroso de aprovação com prioridade de entidade. O SCOPE supera substancialmente todas as bases de referência avaliadas no Gen-Arena, alcançando 0,60 de EGIP, e também obtém resultados fortes no WISE-V (0,907) e no MindBench (0,61), demonstrando a eficácia do rastreamento persistente de compromissos para geração de imagens complexas.

Aprendizado contínuo, especialmente o aprendizado incremental de classes (CIL), com base em um modelo pré-treinado (PTM) tem despertado substancial interesse de pesquisa nos últimos anos. No entanto, como aprender de forma eficaz representações de características tanto discriminativas quanto abrangentes, mantendo estabilidade e plasticidade ao longo de sequências de tarefas muito longas, ainda é um problema em aberto. Propomos o CaRE, um {A}prendiz {C}ontínuo escalável com {R}oteamento Eficiente de dois níveis baseado em {E}specialistas Misturados (BR-MoE). A ideia central do BR-MoE é um mecanismo de roteamento de dois níveis: um estágio de seleção de roteadores que ativa dinamicamente roteadores específicos de tarefas relevantes, seguido por uma fase de roteamento de especialistas que ativa e agrega especialistas dinamicamente, com o objetivo de injetar representações discriminativas e abrangentes em cada camada intermediária da rede. Por outro lado, introduzimos um conjunto de dados desafiador, o OmniBenchmark-1K, para avaliação de desempenho de CIL em sequências de tarefas muito longas, com centenas de tarefas. Experimentos extensivos mostram que o CaRE demonstra desempenho líder em diversos conjuntos de dados e configurações de tarefas, incluindo conjuntos de dados CIL comumente usados com configurações CIL clássicas (por exemplo, 5-20 tarefas). Até onde sabemos, o CaRE é o primeiro aprendiz contínuo que escala para sequências de tarefas muito longas (variando de 100 a mais de 300 tarefas não sobrepostas), superando todas as linhas de base com ampla margem em tais sequências de tarefas. Esperamos que este trabalho inspire futuras pesquisas em aprendizado contínuo ao longo de sequências de tarefas extremamente longas. O código e o conjunto de dados são disponibilizados publicamente em https://github.com/LMMMEng/CaRE.

Os Agentes de LLM evoluíram para sistemas autônomos de execução de tarefas complexas, com a especificação SKILL.md emergindo como um padrão de facto para encapsular capacidades de agentes. No entanto, um gargalo crítico persiste: diferentes frameworks de agentes exibem sensibilidades drasticamente distintas à formatação de prompts, causando até 40% de variação de desempenho, embora quase todas as habilidades existam como uma única versão Markdown independente de formato. A reescrita manual por plataforma cria um ônus de manutenção insustentável, enquanto auditorias anteriores constataram que mais de um terço das habilidades da comunidade contêm vulnerabilidades de segurança. Para resolver isso, apresentamos o SkCC, um framework de compilação que introduz o design clássico de compiladores no desenvolvimento de habilidades de agentes. Em seu núcleo, o SkIR — uma representação intermediária fortemente tipada — desacopla a semântica das habilidades da formatação específica da plataforma, permitindo implantação portável entre frameworks de agentes heterogêneos. Em torno dessa RI, um Analisador em tempo de compilação impõe restrições de segurança por meio de Injeção Anti-Skill antes da implantação. Por meio de um pipeline de quatro fases, o SkCC reduz a complexidade de adaptação de O(m × n) para O(m + n). Experimentos no SkillsBench demonstram que habilidades compiladas superam consistentemente suas contrapartes originais, melhorando as taxas de aprovação de 21,1% para 33,3% no Claude Code e de 35,1% para 48,7% no Kimi CLI, ao mesmo tempo que alcançam latência de compilação inferior a 10 ms, uma taxa de ativação proativa de segurança de 94,8% e economia de 10 a 46% de tokens em tempo de execução entre plataformas.

Compreender com precisão a intenção por trás da fala, da conversa e da escrita é crucial para o desenvolvimento de assistentes úteis baseados em Modelos de Linguagem de Grande Escala (LLMs). Este artigo apresenta o IntentGrasp, um referencial abrangente para avaliar a capacidade de compreensão de intenção dos LLMs. Derivado de 49 corpora de alta qualidade e licença aberta, abrangendo 12 domínios diversos, o IntentGrasp é construído por meio da curadoria de conjuntos de dados fonte, contextualização dos rótulos de intenção e unificação do formato das tarefas. O IntentGrasp contém um conjunto de treinamento em larga escala com 262.759 instâncias e dois conjuntos de avaliação: um Conjunto Completo (All Set) com 12.909 casos de teste e um Conjunto Gem (Gem Set) mais equilibrado e desafiador, com 470 casos. Avaliações extensivas em 20 LLMs de 7 famílias (incluindo modelos de fronteira como GPT-5.4, Gemini-3.1-Pro e Claude-Opus-4.7) demonstram desempenho insatisfatório, com pontuações abaixo de 60% no All Set e abaixo de 25% no Gem Set. Notavelmente, 17 dos 20 modelos testados apresentaram desempenho inferior à linha de base de adivinhação aleatória (15,2%) no Gem Set, enquanto o desempenho humano estimado é de aproximadamente 81,1%, indicando uma margem substancial para melhoria. Para aprimorar essa capacidade, este artigo propõe o Ajuste Fino Intencional (IFT), que ajusta os modelos no conjunto de treinamento do IntentGrasp, resultando em ganhos significativos de mais de 30 pontos F1 no All Set e mais de 20 pontos no Gem Set. De forma significativa, os experimentos de deixar-um-domínio-fora (Lodo) demonstram ainda a forte generalização interdomínios do IFT, confirmando que esta é uma abordagem promissora para aprimorar substancialmente a compreensão de intenção dos LLMs. No geral, ao estabelecer referências e impulsionar a capacidade de compreensão de intenção, este estudo lança luz sobre um caminho promissor em direção a assistentes de IA mais intencionais, capazes e seguros para o benefício humano e o bem social.

Os modelos linguísticos de nível de byte (LMs) recentes equiparam o desempenho dos modelos de nível de token sem depender de vocabulários de subpalavras, mas sua utilidade é limitada pela geração autoregressiva lenta, byte a byte. Nós abordamos esse gargalo no Byte Latent Transformer (BLT) por meio de novas técnicas de treinamento e geração. Primeiro, introduzimos o BLT Diffusion (BLT-D), um novo modelo e nossa variante mais rápida do BLT, treinada com um objetivo auxiliar de difusão em blocos, além da função de perda padrão de previsão do próximo byte. Isso possibilita um procedimento de inferência que gera vários bytes em paralelo por etapa de decodificação, reduzindo substancialmente o número de passagens diretas necessárias para gerar uma sequência. Segundo, propomos duas extensões inspiradas na decodificação especulativa que trocam parte dessa velocidade por maior qualidade de geração: o BLT Self-speculation (BLT-S), no qual o decodificador local do BLT continua gerando além de seus limites normais de fragmentos para rascunhar bytes, que são então verificados com uma única passagem direta do modelo completo; e o BLT Diffusion+Verification (BLT-DV), que aprimora o BLT-D com uma etapa de verificação autoregressiva após a geração baseada em difusão. Todos os métodos podem alcançar um custo estimado de largura de banda de memória mais de 50% menor que o BLT em tarefas de geração. Cada abordagem oferece suas próprias vantagens únicas, eliminando conjuntamente barreiras-chave para o uso prático de LMs de nível de byte.

Os agentes baseados em Grandes Modelos de Linguagem (LLM) redefiniram fundamentalmente a inteligência artificial ao integrar ferramentas externas e capacidades de planejamento. Embora os mecanismos de memória tenham emergido como a espinha dorsal arquitetônica desses sistemas, a pesquisa atual permanece fragmentada, oscilando entre a engenharia de sistemas operacionais e a ciência cognitiva. Essa divisão teórica impede uma visão unificada da síntese tecnológica e uma perspectiva evolutiva coerente. Para superar essa lacuna, este artigo de revisão propõe um novo arcabouço evolutivo para mecanismos de memória em agentes LLM, formalizando o processo de desenvolvimento em três estágios: Armazenamento (preservação de trajetórias), Reflexão (refinamento de trajetórias) e Experiência (abstração de trajetórias). Primeiramente, definimos formalmente esses três estágios antes de analisar os três impulsionadores centrais dessa evolução: a necessidade de consistência de longo alcance, os desafios em ambientes dinâmicos e o objetivo final do aprendizado contínuo. Além disso, exploramos especificamente dois mecanismos transformadores no estágio avançado de Experiência: exploração proativa e abstração entre trajetórias. Ao sintetizar essas visões díspares, este trabalho oferece princípios de design robustos e um roteiro claro para o desenvolvimento de agentes LLM de próxima geração.

O ecossistema de modelos de código aberto agora contém centenas de milhares de modelos pré-treinados, porém selecionar o melhor modelo para um novo dataset torna-se cada vez mais inviável: novos modelos e datasets não avaliados surgem continuamente, deixando os profissionais sem registros prévios de ambos os lados. Abordagens existentes lidam apenas com fragmentos desse cenário em condições reais: AutoML e estimativa de transferibilidade selecionam modelos a partir de pequenos conjuntos predefinidos ou exigem passagens diretas por modelo caras no dataset alvo, enquanto o roteamento de modelos pressupõe um pool de candidatos fornecido. Apresentamos o ModelLens, uma estrutura unificada para recomendação de modelos em condições reais. Nosso principal insight é que as interações em leaderboards públicos, embora dispersas e ruidosas, traçam coletivamente um atlas implícito das capacidades dos modelos em configurações de avaliação heterogêneas, um sinal rico o suficiente para aprender diretamente. Ao aprender um espaço latente ciente de desempenho sobre tuplas modelo–dataset–métrica, o ModelLens classifica modelos não vistos em datasets não vistos sem executar candidatos no dataset alvo. Em um novo benchmark com 1,62 milhão de registros de avaliação abrangendo 47 mil modelos e 9,6 mil datasets, o ModelLens supera linhas de base que dependem apenas de metadados ou exigem a execução de cada candidato no dataset alvo. Seus pools Top-K recomendados melhoram ainda mais vários métodos representativos de roteamento em até 81% em diversos benchmarks de QA. Estudos de caso em benchmarks lançados recentemente confirmam ainda a generalização para tarefas de texto e visão-linguagem.

Os benchmarks existentes para busca agentiva multimodal avaliam a busca multimodal e a navegação visual, mas a evidência visual está confinada à entrada ou tratada como um ponto final de resposta, em vez de parte de uma trajetória de busca intercalada. Apresentamos o InterLV-Search, um benchmark para Busca Agentiva Intercalada de Linguagem e Visão, no qual evidências textuais e visuais são repetidamente utilizadas para condicionar buscas posteriores. Ele contém 2.061 exemplos em três níveis: busca ativa por evidências visuais, busca multimodal intercalada offline controlada e busca multimodal intercalada na web aberta. Além dos benchmarks existentes, ele também inclui amostras multimodais de múltiplos ramos que envolvem comparação entre múltiplas entidades durante a busca de evidências. Construímos os Níveis 1 e 2 com pipelines automatizados e o Nível 3 com um pipeline de web aberta conduzido por máquina e supervisionado por humanos. Fornecemos também o InterLV-Agent para uso padronizado de ferramentas, registro de trajetórias e avaliação. Experimentos com agentes multimodais proprietários e de código aberto mostram que os sistemas atuais ainda estão longe de resolver a busca multimodal intercalada, com o melhor modelo apresentando precisão geral abaixo de 50%, destacando desafios na busca de evidências visuais, controle de busca e integração de evidências multimodais. Disponibilizamos os dados do benchmark e o código de avaliação em https://github.com/hbhalpha/InterLV-Search-Bench.

A Atenção Linear (LA) oferece um paradigma promissor para escalar grandes modelos de linguagem (LLMs) para sequências longas, evitando a complexidade quadrática da autoatenção. Modelos LA recentes, como Mamba2 e GDN, interpretam recorrências lineares como descida de gradiente estocástico (SGD) online em forma fechada, mas atualizações SGD ingênuas sofrem de rápido decaimento de informação e convergência subótima na otimização. Embora otimizadores baseados em momentum forneçam um remédio natural, eles apresentam desafios para alcançar simultaneamente eficiência e eficácia no treinamento. Para lidar com isso, desenvolvemos um algoritmo paralelo por blocos para LA com uma regra de momentum passo a passo, reordenando geometricamente os coeficientes de atualização. Além disso, a partir de uma perspectiva de sistemas dinâmicos, analisamos a recorrência baseada em momentum como um sistema de segunda ordem que introduz autovalores complexos conjugados. Essa análise orienta o projeto de restrições de portão estáveis. O modelo resultante, Momentum DeltaNet (MDN), utiliza kernels Triton para alcançar uma taxa de processamento de treinamento comparável a modelos lineares competitivos como Mamba2 e KDA. Experimentos extensivos em modelos com 400M e 1,3B parâmetros demonstram melhorias consistentes de desempenho em relação a linhas de base fortes, incluindo Transformers, Mamba2 e GDN, em diversos benchmarks de avaliação downstream. Código: https://github.com/HuuYuLong/MomentumDeltaNet .

Sensores modernos geram dados ricos e de alta fidelidade, mas aplicações em dispositivos vestíveis ou sensoriamento remoto permanecem limitadas por restrições de largura de banda e orçamento energético. Codecs padronizados como JPEG e MPEG alcançam compromissos eficientes entre taxa de bits e qualidade perceptual, porém são projetados para a percepção humana, o que limita sua aplicabilidade a tarefas de percepção por máquina e modalidades não tradicionais, como arranjos de áudio espacial, imagens hiperespectrais e imagens médicas 3D. Esquemas de compressão de propósito geral baseados em quantização escalar ou redução de resolução são amplamente aplicáveis, mas não exploram redundâncias inerentes ao sinal, resultando em desempenho taxa-distorção subótimo. Codecs neurais generativos recentes, ou tokenizadores, modelam dependências complexas do sinal, mas frequentemente são superparametrizados, exigentes em dados e específicos para modalidades, tornando-os impraticáveis para ambientes com recursos limitados. Apresentamos a arquitetura de codec neural Leve, Versátil e Assimétrica (LiVeAction), que aborda essas limitações por meio de duas ideias-chave: (1) para reduzir a complexidade do codificador e atender às restrições de recursos dos ambientes de execução, impomos uma estrutura semelhante à FFT e reduzimos o tamanho geral e a profundidade da transformada de análise baseada em redes neurais; (2) para permitir modalidades arbitrárias de sinal e simplificar o treinamento, substituímos perdas adversariais e perceptuais por uma penalidade de taxa baseada em variância. Nosso projeto produz codecs que oferecem desempenho taxa-distorção superior em comparação com tokenizadores generativos de última geração, mantendo-se práticos para implantação em sensores de baixa potência. Disponibilizamos nosso código, experimentos e biblioteca Python em https://github.com/UT-SysML/liveaction.

Sistemas de aprendizado por reforço dependem de interfaces de ambiente que especificam observações e funções de recompensa, porém construir essas interfaces para novas tarefas frequentemente exige esforço manual substancial. Embora trabalhos recentes tenham automatizado o design de recompensas usando modelos de linguagem de grande escala (LLMs), essas abordagens assumem observações fixas e não abordam o desafio mais amplo de sintetizar interfaces completas de tarefas. Estudamos a descoberta de interfaces de tarefas de RL a partir do estado bruto do simulador, onde tanto os mapeamentos de observação quanto as funções de recompensa devem ser gerados. Propomos o LIMEN (Código disponível em https://github.com/Lossfunk/LIMEN), um framework evolutivo guiado por LLM que produz interfaces candidatas como programas executáveis e as refina iterativamente usando feedback de treinamento de política. Em tarefas discretas inéditas de gridworld e domínios contínuos de controle abrangendo locomoção e manipulação, a evolução conjunta de observações e recompensas descobre interfaces eficazes dada apenas uma métrica de sucesso no nível de trajetória, enquanto a otimização de qualquer um dos componentes isoladamente falha em pelo menos um domínio. Esses resultados demonstram que a construção automática de interfaces de RL a partir do estado bruto pode reduzir substancialmente o esforço manual e que os componentes de observação e recompensa frequentemente se beneficiam de codesign, uma vez que a otimização de um único componente falha catastroficamente em pelo menos um domínio em nossa suíte de avaliação.

Compreender a topologia das regiões de decisão é central para explicar o funcionamento interno das redes neurais profundas. Trabalhos empíricos anteriores forneceram evidências de que essas regiões são conexas por caminhos. Estudamos uma questão topológica mais forte: se laços fechados dentro de uma região de decisão podem ser contraídos sem sair dessa região. Para tanto, propomos um procedimento iterativo de preenchimento por malha quadrilátera que constrói uma superfície de resolução finita preservadora de rótulos, delimitada por um dado laço e situada inteiramente dentro da mesma região de decisão. Conectamos ainda essa construção a patches de Coons naturais, a fim de quantificar seu desvio em relação a uma interpolação geométrica canônica do laço. Ao avaliar nosso método em diversos modelos modernos de classificação de imagens, fornecemos evidências empíricas que apoiam a hipótese de que as regiões de decisão em redes neurais profundas não são apenas conexas por caminhos, mas também simplesmente conexas.

Modelos multimodais unificados são concebidos para reduzir a lacuna entre compreensão e geração. No entanto, para alcançar desempenho competitivo, os modelos de última geração adotam componentes amplamente dissociados de compreensão e geração. Esse projeto, embora eficaz para tarefas individuais, enfraquece a conexão necessária para aprimoramento mútuo, deixando a sinergia potencial empiricamente incerta. Propomos restaurar explicitamente essa sinergia por meio do Pós-Treinamento Orientado à Compreensão (UNO), uma estrutura leve que trata a compreensão não apenas como uma tarefa distinta, mas também como um sinal supervisor direto para orientar representações generativas. Ao incorporar objetivos que codificam abstração semântica (legendas) e detalhes estruturais (regressão visual), permitimos um fluxo eficaz de gradientes da compreensão para a geração. Experimentos extensivos em geração e edição de imagens demonstram que a compreensão pode servir como um catalisador eficaz para a geração.

A decodificação especulativa acelera a inferência de LLM ao esboçar uma árvore de continuações candidatas e verificá-la em uma passagem direta do modelo alvo. Os esboçadores existentes se dividem em duas categorias com pontos fracos opostos. Esboçadores autorregressivos, como o EAGLE-3, preservam a dependência ao longo de cada caminho de esboço, mas chamam o esboçador uma vez por profundidade da árvore, fazendo com que o esboço represente uma parcela não trivial da latência por iteração. Esboçadores paralelos reduzem as chamadas ao esboçador ao prever múltiplas posições futuras em uma única passagem direta, mas cada posição é prevista sem ver as outras, produzindo caminhos que o verificador rejeita. Neste artigo, propomos o SpecBlock, um esboçador iterativo por blocos que combina dependência de caminho com esboço de baixo custo. Cada passagem direta do esboçador produz K posições dependentes, e denominamos isso um bloco. A árvore de esboço cresce por meio de expansões repetidas de blocos. Dois mecanismos carregam explicitamente a dependência de caminho para manter as posições de esboço posteriores precisas. Dentro de cada bloco, um deslocamento por camada transporta o estado oculto da posição anterior para cada camada do decodificador. Entre blocos, cada novo bloco pode começar a partir de qualquer posição do bloco anterior, herdando seu estado oculto para estender o caminho. Para gastar o orçamento do verificador onde a aceitação é provável, uma cabeça de classificação co-treinada substitui a árvore top-k fixa ao alocar ramificações por posição durante o esboço. Para evitar treinar o esboçador em prefixos que ele nunca produz na inferência, uma máscara de prefixo válido descarta a perda em posições posteriores assim que uma anterior estiver incorreta. Além do esboço estático, um bandido ciente de custo em implantação usa o feedback gratuito do verificador para atualizar o esboçador seletivamente, apenas quando o ganho esperado de vazão excede o custo da atualização. Experimentos mostram que o SpecBlock melhora a aceleração média em 8-13% em relação ao EAGLE-3, com 44-52% do custo de esboço deste, e a adaptação ciente de custo estende essa vantagem para 11-19%.

O Monitoramento Contínuo de Glicose (CGM) pode detectar subfenótipos metabólicos precoces (resistência à insulina, RI; disfunção de células β), mas a implantação em escala populacional enfrenta dois problemas acoplados. Primeiro, o mesmo estado fisiológico se manifesta por meio de múltiplas visões (séries temporais de CGM, TOTG venoso, resumos de Glicodensidade), de modo que representações de visão única falham na transferência quando a implantação altera a modalidade ou o cenário. Segundo, os baselines apresentam desempenho inconsistente diante dessas mudanças. Ambos os problemas apontam para um único remédio: representações que abstraem de qualquer visão única para capturar estruturas temporais e distribucionais de nível superior. Propomos o CGM-JEPA, uma estrutura de pré-treinamento autossupervisionado que prevê representações latentes mascaradas em vez de valores brutos, gerando abstração que transfere entre modalidades. O X-CGM-JEPA adiciona um objetivo de visão cruzada de Glicodensidade mascarada para informações distribucionais complementares. Pré-treinamos em 389k leituras de CGM não rotuladas de 228 indivíduos e avaliamos em duas coortes clínicas (subconjuntos de divulgação pública de N=27 e N=17) em três regimes (generalização de coorte, transferência venoso-para-CGM, CGM domiciliar) sob validação cruzada de 20 iterações vezes 2 dobras. O X-CGM-JEPA ocupa o primeiro ou segundo lugar em AUROC para ambos os desfechos em todos os três regimes, enquanto nenhum baseline o faz, superando o baseline mais forte em até +6,5 pontos percentuais na generalização de coorte e +3,6 pp na transferência venoso-para-CGM (Wilcoxon pareado, p<0,001). Sob mudança de modalidade, ele iguala a AUROC média enquanto redistribui em direção a subgrupos mais frágeis (diferença de AUROC por etnia reduz em 25-54%); em dados venosos esparsos dentro do domínio, a visão distribucional eleva o agrupamento consciente de rótulos (ARI +39%, NMI +40%). Código e pesos: https://github.com/cruiseresearchgroup/CGM-JEPA

Agentes de modelo de linguagem de grande porte (LLM) agora executam tarefas longas que utilizam ferramentas, onde as verificações finais de resultados podem chegar tarde demais para intervenção. O alerta online requer monitores de prefixo leves sobre rastreamentos heterogêneos, mas esquemas de eventos criados manualmente são frágeis e a avaliação por LLM em tempo de implantação é custosa. Apresentamos o PrefixGuard, uma estrutura de rastreamento-para-monitor com uma etapa offline de indução StepView seguida de treinamento supervisionado do monitor. O StepView induz adaptadores de etapas tipadas determinísticas a partir de amostras brutas de rastreamento, e o monitor aprende uma abstração de eventos e um pontuador de risco de prefixo a partir dos resultados terminais. Através de WebArena, τ²-Bench, SkillsBench e TerminalBench, os monitores PrefixGuard mais fortes alcançam 0,900/0,710/0,533/0,557 de AUPRC. Usando o backend mais forte dentro de cada representação, eles melhoram em relação aos controles de texto bruto em uma média de +0,137 AUPRC. Os juízes LLM permanecem substancialmente mais fracos sob o mesmo protocolo de alerta de prefixo. Também derivamos um teto de observabilidade para a área sob a curva precisão-revocação (AUPRC) baseada em pontuação, que separa o erro do monitor de falhas que carecem de evidência no prefixo observado. Para auditoria de estado finito, a extração post-hoc de autômato finito determinístico (DFA) permanece compacta no WebArena e τ²-Bench (29 e 20 estados), mas se expande para 151 e 187 estados no SkillsBench e TerminalBench. Finalmente, diagnósticos de primeiro alerta mostram que uma classificação forte não implica utilidade de implantação: o WebArena classifica bem, mas não consegue suportar alertas com baixa taxa de falsos alarmes, enquanto τ²-Bench e TerminalBench retêm alertas precoces mais acionáveis. Juntos, esses resultados posicionam o PrefixGuard como uma receita prática de síntese de monitores com diagnósticos explícitos sobre quando os alertas de prefixo se traduzem em intervenções acionáveis.

Uma intuição natural sobre a economia dos agentes de IA é que, como os agentes podem ser replicados a um custo marginal muito baixo, a oferta de trabalho dos agentes pode ser altamente elástica, exercendo pressão descendente sobre os salários do trabalho cognitivo quando este substitui de perto o trabalho humano. Argumentamos que essa formulação está errada no mecanismo, mas parcialmente correta na conclusão, e que a correção é relevante tanto para a teoria quanto para a política. Agentes não são trabalho; são uma tecnologia de produção que converte capital computacional K_c em unidades efetivas de trabalho cognitivo L_A. Uma vez reconhecido isso, a margem de oferta elástica que ancora o salário de equilíbrio migra do mercado de trabalho para o mercado de capital computacional. Com base no arcabouço clássico de precificação de fatores mankiw2020, derivamos um limite do Salário Ancorado em Computação (SAC), que afirma que, em tarefas onde o trabalho cognitivo humano e o produzido por agentes são substitutos, o salário humano competitivo é limitado superiormente por λ ⋅ k ⋅ r_c, onde r_c é a taxa de aluguel do capital computacional, k é a intensidade computacional de uma unidade efetiva de trabalho cognitivo produzido por agente, e λ é a produtividade relativa humano-agente. Generalizamos o resultado por meio da agregação com elasticidade de substituição constante (CES), separamos tarefas substituíveis de complementares e discutimos as consequências para a participação dos fatores. A conclusão é concisa: o formador de preços para o trabalho cognitivo não é mais o mercado de trabalho.

Programadores de Pesos Rápidos (FWPs, do inglês *Fast Weight Programmers*) codificam dependências temporais por meio de parâmetros atualizados dinamicamente, em vez de estados ocultos recorrentes. FWPs Quânticos (QFWPs) estendem essa ideia com circuitos quânticos variacionais (VQCs), mas as implementações existentes dependem de arquiteturas multi-qubit, difíceis de escalar em dispositivos quânticos de escala intermediária ruidosa (NISQ) e caras para simular classicamente. Propomos o *gated QKAN-FWP*, uma estrutura de pesos rápidos que integra FWP com a Rede Kolmogorov–Arnold inspirada quânticamente (QKAN), utilizando circuitos de reenvio de dados de único qubit como ativação não linear aprendível, denominada Ativação por Reenvio de Dados (DARUAN, do inglês *DatA Re-uploading ActivatioN*). Introduzimos ainda uma regra de atualização de pesos rápidos com portão escalar que estabiliza a evolução dos parâmetros, respaldada por uma análise teórica de seu núcleo de memória adaptativa, limitação geométrica e caminhos de gradiente paralelizáveis. Avaliamos a estrutura em benchmarks de séries temporais, aprendizado por reforço no MiniGrid, e destacamos a previsão do ciclo solar real como nosso principal resultado prático. No cenário de horizonte longo, com janela de entrada de 528 meses e horizonte de previsão de 132 meses, nosso modelo de 12,5 mil parâmetros alcança menor Erro Quadrático Médio (MSE) escalado, erro de amplitude de pico e erro de tempo de pico do que um conjunto de linhas de base recorrentes clássicas com até 13 vezes mais parâmetros, incluindo redes Long Short-Term Memory (LSTM) (25,9 mil–89,1 mil parâmetros), WaveNet-LSTM (167 mil), rede neural recorrente Vanilla (11,5 mil) e uma Rede de Estado de Eco Modificada (132 mil). Para validar a compatibilidade com NISQ, implantamos adicionalmente o programador rápido treinado nos processadores quânticos IonQ e IBM, recuperando a precisão da previsão dentro de 0,1% do MSE relativo do simulador sem ruído com 1024 medições. Esses resultados posicionam o *gated QKAN-FWP* como uma abordagem escalável, eficiente em parâmetros e compatível com NISQ para modelagem de sequências inspirada em quântica.

O aprendizado por reforço tornou-se o padrão para melhorar o raciocínio em modelos de linguagem de grande porte, mas evidências crescentes sugerem que o RL não ensina novas estratégias; ele redistribui massa de probabilidade sobre as soluções que o modelo base já contém. Neste trabalho, perguntamos: se o RL apenas direciona o modelo para caminhos que ele já conhece, o próprio ciclo de otimização do RL é necessário? Por meio de análise em nível de token em várias famílias de modelos e algoritmos de RL, descobrimos que a pegada benéfica do RL é uma correção esparsa e previsível, concentrada em pontos de decisão de alta entropia, onde o modelo está incerto sobre qual ramo seguir. Apenas 1–3% das posições dos tokens são afetadas, o token promovido está sempre entre as cinco principais alternativas do modelo base, e correções direcionadas nessas poucas posições recuperam causalmente grande parte do ganho de precisão do RL, enquanto correções aleatórias falham. A própria entropia do modelo base identifica essas posições sem qualquer modelo treinado com RL, e toda a correção é de baixa dimensionalidade, representável em uma fração minúscula dos parâmetros do modelo. Essas descobertas reformulam a melhoria do raciocínio como seleção esparsa de políticas, e não aquisição de capacidade. Traduzimos essa percepção no ReasonMaxxer, um método mínimo livre de RL que aplica perda contrastiva apenas em pontos de decisão controlados por entropia, usando algumas centenas de rolagens do modelo base e sem geração online. Em três famílias de modelos, seis escalas e seis benchmarks de raciocínio matemático, o ReasonMaxxer iguala ou supera o desempenho total do RL, exigindo apenas dezenas de problemas e minutos de treinamento em GPU única, uma redução no custo de treinamento de aproximadamente três ordens de grandeza.

Grandes modelos de linguagem (LLMs) tornaram-se uma base central da inteligência artificial moderna, mas seu ciclo de vida ainda é limitado por uma separação rígida entre treinamento e implantação, após a qual o aprendizado efetivamente cessa. Essa limitação contrasta com a inteligência natural, que se adapta continuamente por meio da interação com seu ambiente. Neste artigo, formalizamos o aprendizado durante a implantação (DTL) como o terceiro estágio do ciclo de vida dos LLMs, que permite que agentes LLM melhorem a partir da experiência durante a implantação sem modificar os parâmetros do modelo. Apresentamos o CASCADE (Adaptação Contínua Baseada em Casos durante a Implantação), uma estrutura geral e fundamentada que equipa agentes LLM com uma memória episódica explícita e em evolução. O CASCADE formula o reúso de experiência como um problema de bandido contextual, permitindo compromissos fundamentados entre exploração e explotação e estabelecendo garantias de não-arrependimento em interações de longo prazo. Esse design permite que os agentes acumulem, selecionem e refinem casos relevantes para a tarefa, transformando experiências passadas em conhecimento acionável. Em 16 tarefas diversas, abrangendo diagnóstico médico, análise jurídica, geração de código, busca na web, uso de ferramentas e interação corporificada, o CASCADE melhora a taxa de sucesso média macro em 20,9% em relação ao prompting zero-shot, superando consistentemente as baselines baseadas em gradiente e em memória. Ao reformular a implantação como um processo de aprendizado adaptativo, este trabalho estabelece uma base para sistemas de IA em melhoria contínua.

A geração de legendas de imagens é uma das tarefas mais fundamentais em visão computacional. Devido à sua natureza aberta, tem recebido atenção significativa na era dos modelos multimodais de grande linguagem (MLLMs). Na busca por legendas cada vez mais detalhadas e precisas, trabalhos recentes têm recorrido cada vez mais ao aprendizado por reforço (RL). No entanto, métodos e métricas de avaliação existentes de RL para legendagem frequentemente enfatizam uma noção restrita de qualidade da legenda, induzindo compromissos entre dimensões centrais da legendagem. Por exemplo, objetivos orientados à utilidade podem incentivar legendas ruidosas, alucinadas ou excessivamente longas que melhoram a resposta a perguntas downstream, mas prejudicam a fluência, enquanto objetivos no estilo arena podem favorecer descrições fluidas, porém genéricas, com utilidade limitada. Para lidar com isso, propomos uma estrutura de RL mais equilibrada que otimiza conjuntamente correção consciente da utilidade, cobertura de referência e qualidade linguística. Para otimizar efetivamente a formulação de recompensa multiobjetivo contínua resultante, aplicamos normalização desacoplada de recompensa no estilo GDPO a recompensas de legendagem de valor contínuo e mostramos que ela melhora o desempenho em relação ao GRPO padrão. Além disso, introduzimos mascaramento de recompensa condicionado ao comprimento, resultando em uma penalidade de comprimento mais adequada para legendagem. Nos modelos base LLaVA-1.5-7B e Qwen2.5-VL 3B e 7B, nosso método melhora consistentemente a qualidade das legendas, com ganhos máximos de +13,6 DCScore, +9,0 CaptionQA e +29,0 CapArena em diferentes modelos.

Modelos de mundo preveem transições futuras a partir de observações e ações. Trabalhos existentes focam predominantemente apenas na geração de imagens. Modelos de mundo baseados em características visuais, por outro lado, preveem características visuais futuras em vez de pixels brutos de vídeo, oferecendo uma alternativa promissora que é mais eficiente e menos propensa a alucinações. No entanto, abordagens atuais baseadas em características dependem de regressão direta, o que leva a previsões borradas ou colapsadas em interações complexas, enquanto a modelagem generativa em espaços de características de alta dimensão ainda permanece desafiadora. Neste trabalho, descobrimos que um novo tipo de representação de ação latente, que denominamos *Ação Latente Residual* (RLA), pode ser facilmente aprendida a partir de resíduos DINO. Também mostramos que RLA é preditiva, generalizável e codifica a progressão temporal. Com base em RLA, propomos o *Modelo de Mundo RLA* (RLA-WM), que prevê valores de RLA via *flow matching*. RLA-WM supera tanto os modelos de mundo baseados em características quanto os de difusão de vídeo do estado da arte em conjuntos de dados simulados e do mundo real, sendo ordens de magnitude mais rápido que a difusão de vídeo. Além disso, desenvolvemos duas técnicas de aprendizado robótico que utilizam RLA-WM para melhorar o aprendizado de políticas. A primeira é um modelo de ação mundial minimalista com RLA que aprende a partir de vídeos de demonstração sem ações. A segunda é o primeiro *framework* de RL visual treinado inteiramente dentro de um modelo de mundo aprendido apenas a partir de vídeos offline, usando uma recompensa alinhada ao vídeo e sem interações online ou recompensas artesanais. Página do projeto: https://mlzxy.github.io/rla-wm

A Generalização de Domínio (DG) tem como objetivo aprender representações que permaneçam robustas sob mudanças fora da distribuição (OOD) e generalizem efetivamente para domínios-alvo não vistos. Embora estratégias recentes de aprendizado invariante e avanços arquitetônicos tenham alcançado desempenho robusto, a descoberta explícita de um subespaço invariante de domínio estruturado por meio de estatísticas de segunda ordem permanece pouco explorada. Neste trabalho, propomos o CPCANet, uma nova estrutura fundamentada na Análise de Componentes Principais Comuns (CPCA), que desenrola o algoritmo iterativo de Flury-Gautschi (FG) em camadas neurais totalmente diferenciáveis. Essa abordagem integra as propriedades estatísticas da CPCA em uma estrutura treinável de ponta a ponta, impondo a descoberta de um subespaço compartilhado entre domínios diversos, preservando ao mesmo tempo a interpretabilidade. Experimentos em quatro benchmarks padrão de DG demonstram que o CPCANet alcança desempenho de estado da arte (SOTA) em transferência zero-shot. Além disso, o CPCANet é independente de arquitetura e não requer ajustes específicos ao conjunto de dados, oferecendo uma abordagem simples e eficiente para aprender representações robustas sob mudança de distribuição. O código está disponível em https://github.com/wish44165/CPCANet.

Os modelos de visão-linguagem (VLMs) avançaram rapidamente e estão cada vez mais implantados em aplicações do mundo real, especialmente com o crescimento dos sistemas baseados em agentes. No entanto, sua segurança tem recebido atenção relativamente limitada. Mesmo os VLMs proprietários e de código aberto mais recentes permanecem altamente vulneráveis a ataques adversariais, expondo aplicações downstream a riscos significativos. Neste trabalho, propomos uma estrutura de detecção de ataques adversariais nova e leve, baseada em autoencoders esparsos (SAEs), denominada SAEgis. Ao inserir um módulo SAE em um VLM pré-treinado e treiná-lo com objetivos de reconstrução padrão, descobrimos que as características latentes esparsas aprendidas capturam naturalmente sinais relevantes para ataques. Essas características permitem classificar de forma confiável se uma imagem de entrada foi perturbada de maneira adversarial, mesmo para amostras nunca antes vistas. Experimentos extensos mostram que o SAEgis alcança desempenho robusto em contextos intra-domínio, entre domínios e entre ataques, com melhorias particularmente grandes na generalização entre domínios em comparação com as bases de referência existentes. Além disso, a combinação de sinais de múltiplas camadas melhora ainda mais a robustez e a estabilidade. Até onde sabemos, este é o primeiro trabalho a explorar SAE como um mecanismo plug-and-play para detecção de ataques adversariais em VLMs. Nosso método não requer treinamento adversarial adicional, introduz uma sobrecarga mínima e fornece uma abordagem prática para melhorar a segurança de sistemas VLM do mundo real.

A destilação on-policy (OPD) é um paradigma poderoso para alinhamento de modelos, mas sua dependência de logits do professor restringe sua aplicação a cenários de caixa-branca. Defendemos que rubricas semânticas estruturadas podem servir como uma alternativa escalável aos logits do professor, permitindo OPD usando apenas respostas geradas pelo professor. Para comprovar isso, apresentamos o ROPD, uma estrutura simples, porém fundamental, para OPD baseada em rubricas. Especificamente, o ROPD induz rubricas específicas ao prompt a partir de contrastes professor-aluno e, em seguida, utiliza essas rubricas para pontuar os rollouts do aluno para otimização on-policy. Empiricamente, o ROPD supera os métodos avançados de OPD baseados em logits na maioria dos cenários, alcançando um ganho de até 10x na eficiência amostral. Esses resultados posicionam a OPD baseada em rubricas como uma alternativa flexível e compatível com caixa-preta à OPD baseada em logits predominante, oferecendo uma referência simples, porém forte, para destilação escalável em LLMs proprietários e de código aberto. O código está disponível em https://github.com/Peregrine123/ROPD_official.

Sistemas modernos de Texto-para-SQL geram múltiplas consultas SQL candidatas e as classificam para determinar uma previsão final. No entanto, os métodos existentes enfrentam duas limitações. Primeiro, frequentemente pontuam consultas SQL funcionalmente equivalentes de forma inconsistente, apesar dos resultados de execução idênticos. Segundo, a classificação não consegue se recuperar quando a consulta SQL correta está ausente do conjunto de candidatos. Propomos o R³-SQL, uma estrutura de Texto-para-SQL que aborda ambos os problemas por meio de uma recompensa unificada para classificação e reamostragem. O R³-SQL primeiro agrupa os candidatos pelo resultado da execução e classifica os grupos para consistência. Para pontuar cada grupo, combina uma preferência pareada entre grupos com uma utilidade pontual derivada da classificação e do tamanho do melhor grupo, capturando preferência relativa, consistência e qualidade dos candidatos. Para melhorar a recuperação de candidatos, o R³-SQL introduz a reamostragem agentiva, que avalia o conjunto de candidatos gerado e reamostra seletivamente quando a consulta SQL correta provavelmente está ausente. O R³-SQL alcança 75,03% de precisão de execução no BIRD-dev, um novo estado da arte entre métodos que utilizam modelos com tamanhos divulgados, com ganhos consistentes em cinco benchmarks.

Grandes modelos de linguagem tornaram-se motores de busca evolutiva, mas a maioria dos sistemas depende de uma política fixa e elicitada por prompt para amostrar os próximos candidatos. Isso limita a adaptação em tarefas práticas de engenharia e pesquisa, onde as avaliações são caras e o progresso depende do aprendizado de dinâmicas específicas de busca. Apresentamos o PACEvolve++, uma estrutura de aprendizado por reforço baseada em modelo consultor para adaptação de política em tempo de teste em agentes de busca evolutiva. O PACEvolve++ separa decisões estratégicas de busca da implementação: um consultor treinável gera, avalia e seleciona hipóteses, enquanto um modelo de fronteira mais forte traduz as hipóteses selecionadas em candidatos executáveis. Para treinar o consultor sob feedback não estacionário, propomos uma abordagem adaptativa por fase, que ajusta sua estratégia de otimização a diferentes fases do processo evolutivo. No início da evolução, utiliza feedback relativo ao grupo para aprender preferências amplas de busca; posteriormente, à medida que as diferenças de recompensa se comprimem, enfatiza a contribuição de fronteira best-of-k para suportar refinamento estável. Em balanceamento de carga paralela especializada, recomendação sequencial e extrapolação de aptidão proteica, o PACEvolve++ supera a estrutura de busca evolutiva de última geração com modelos de fronteira, alcançando convergência mais rápida e estabilizando o treinamento em tempo de teste durante a busca evolutiva.

A inferência de contexto longo em modelos de linguagem apenas com decodificador é custosa porque prompts longos são processados durante o Pré-preenchimento, armazenados em cache em todas as camadas e repetidamente atendidos durante a Decodificação autoregressiva. Apresentamos o Shallow Prefill, dEEp Decode (SPEED), uma política de visibilidade KV assimétrica por fase que materializa estados KV de tokens de prompt não âncora apenas nas camadas inferiores, enquanto mantém os tokens da fase de Decodificação em profundidade total. Diferentemente de abordagens anteriores que tornam os estados KV de prompt das camadas superiores mais baratos para armazenar ou construir, o SPEED remove completamente os tokens de pré-preenchimento do conjunto de visibilidade da Decodificação nas camadas superiores. Com uma âncora BoS mínima, essa mudança simples preserva a ampla qualidade dos benchmarks, ao mesmo tempo que reduz o custo de contexto longo. Em um estudo controlado de ajuste de instruções com Llama-3.1-8B, o SPEED utilizando apenas 75% das camadas para tokens de pré-preenchimento alcançou uma pontuação média de 51,2 nos benchmarks no estilo OLMES, em comparação com 51,4 da linha de base em profundidade total, enquanto melhorou o TTFT em 33%, o TPOT em 22% e reduziu a memória KV ativa em 25,0% com contexto de 128K. Diagnósticos por camada sugerem que esse ponto de corte retém as principais regiões de seleção de prompt e estabilização de representação do modelo em profundidade total. Esses resultados mostram que tokens de prompt de contexto longo não precisam persistir sempre como objetos de cache KV em profundidade total quando os tokens da fase de Decodificação permanecem em profundidade total.

Edição de imagens baseada em exemplares aplica uma transformação definida por um par de imagens fonte-alvo a uma nova imagem de consulta. Métodos existentes dependem de um paradigma de supervisão de pares de pares, exigindo dois pares de imagens que compartilhem a mesma semântica de edição para aprender a transformação alvo. Essa restrição torna difícil a curadoria de dados de treinamento em escala e limita a generalização para diversos tipos de edição. Propomos o Delta-Adapter, um método que aprende semânticas de edição transferíveis sob supervisão de par único, sem necessidade de orientação textual. Em vez de expor diretamente o par de exemplares ao modelo, utilizamos um codificador visual pré-treinado para extrair um delta semântico que codifica a transformação visual entre as duas imagens. Esse delta semântico é injetado em um modelo de edição de imagens pré-treinado por meio de um adaptador baseado em Perceiver. Como a imagem alvo nunca é diretamente visível para o modelo, ela pode servir como alvo de predição, possibilitando supervisão de par único sem exigir pares de exemplares adicionais. Essa formulação permite aproveitar conjuntos de dados de edição em grande escala existentes para treinamento. Para promover ainda mais uma transferência fiel da transformação, introduzimos uma perda de consistência do delta semântico que alinha a mudança semântica da saída gerada com o delta semântico de referência extraído do par de exemplares. Experimentos extensos demonstram que o Delta-Adapter melhora consistentemente tanto a precisão da edição quanto a consistência de conteúdo em relação a quatro linhas de base fortes em tarefas de edição já vistas, além de generalizar de forma mais eficaz para tarefas de edição não vistas. O código estará disponível em https://delta-adapter.github.io.

Discrete flow matching gera texto transformando iterativamente tokens de ruído em linguagem coerente, mas pode exigir centenas de passagens diretas. A destilação utiliza a trajetória de múltiplos passos para treinar um estudante a reproduzir o processo em poucos passos. Quando o estudante apresenta desempenho inferior, a explicação usual é capacidade insuficiente. Argumentamos o oposto: a trajetória é o gargalo, não o estudante. Cada trajetória de treinamento é construída por uma cadeia de saltos estocásticos cegos, sem avaliação da qualidade da sequência; uma única decisão ruim em um ponto intermediário inicial se propaga pelos passos subsequentes, mas o estudante deve imitar o resultado. Trajectory-Shaped Discrete Flow Matching (TS-DFM) substitui esses saltos cegos por navegação guiada: uma bússola de energia leve avalia continuações candidatas em cada ponto intermediário, selecionando a mais coerente. Toda a modelagem ocorre apenas no treinamento; o custo de inferência permanece inalterado. Em modelagem de linguagem com 170M de parâmetros, o estudante modelado em 8 passos alcança perplexidade 32% menor do que o professor com 1.024 passos, sendo 128 vezes mais rápido, com ganhos consistentes entre distribuições de origem e três avaliadores de escala crescente. TS-DFM atinge a melhor perplexidade entre todas as bases de geração discreta com as quais comparamos, incluindo métodos treinados com 6 vezes mais dados ou que utilizam modelos 5 vezes maiores.