Artigos de pesquisa em IA selecionados diariamente com traduções
A memória para agentes baseados em grandes modelos de linguagem (LLMs) evoluiu rapidamente de simples mecanismos de recuperação aumentada para um sistema de gerenciamento de dados que suporta armazenamento persistente, recuperação, atualização, consolidação e governança dinâmica do ciclo de vida durante toda a execução do agente. Apesar dessa evolução, as avaliações existentes ainda avaliam a memória do agente principalmente por meio de métricas de sucesso de tarefa ponta a ponta (por exemplo, F1, BLEU), tratando o sistema subjacente como uma caixa preta monolítica. Consequentemente, preocupações críticas em nível de sistema, incluindo custos operacionais, trade-offs arquiteturais entre módulos de memória e robustez diante de atualizações dinâmicas de conhecimento, permanecem insuficientemente exploradas. Neste artigo, apresentamos um estudo experimental sistemático da memória de agentes sob uma perspectiva de gerenciamento de dados. Propomos um quadro analítico que decompõe a memória do agente em quatro módulos principais: representação e armazenamento, extração, recuperação e roteamento, e manutenção. Sob esse quadro, avaliamos 12 sistemas de memória representativos e duas linhas de base de referência em cinco cargas de trabalho de referência distribuídas por 11 conjuntos de dados. Nossa extensa avaliação ponta a ponta mostra que nenhuma arquitetura única domina em todos os cenários; em vez disso, a eficácia depende fortemente de quão bem a estrutura da memória se alinha ao gargalo da carga de trabalho. Além disso, por meio de estudos de ablação detalhados, quantificamos seus efeitos individuais na fidelidade da representação, precisão na recuperação, correção na atualização e estabilidade de longo horizonte. Por fim, revelamos trade-offs entre custo e desempenho em cargas de trabalho realistas, mostrando que a manutenção localizada é mais eficiente em termos de custo do que a reorganização global. Com base nesses achados, identificamos direções promissoras para a construção de sistemas de memória verdadeiramente nativos para agentes. O código está disponível publicamente em https://github.com/OpenDataBox/MemoryData.
A geração de texto para vídeo (S2V) orientada por sujeito em domínio aberto tem despertado grande interesse na academia e na indústria. A S2V em domínio aberto envolve principalmente dois cenários: intradomínio, que exige a retenção máxima possível das características do sujeito de referência, e interdomínio, que preserva as características intrínsecas do sujeito enquanto permite que propriedades irrelevantes ao sujeito variem de forma flexível de acordo com o prompt textual. Os métodos existentes focam-se principalmente em maximizar a fidelidade ao sujeito em cenários intradomínio, o que limita sua editabilidade e adaptabilidade em cenários interdomínio, como estilos inovadores, combinações semânticas ou atributos de domínio. Neste estudo, propomos que um método ideal de S2V deve transitar de forma flexível entre diferentes domínios, alcançando um desempenho robusto tanto em cenários intradomínio quanto interdomínio. Para tal, apresentamos o DomainShuttle, que possibilita alta fidelidade e flexibilidade generativa para a personalização de vídeos em domínio aberto. Especificamente, introduzimos o Domain-MoT, que desacopla os vídeos e as características de referência e incorpora o AdaLN ciente do domínio para modelagem específica de domínio das imagens de referência. Em seguida, apresentamos o esquema Video-Reference DualRoPE, que posiciona os tokens da imagem de referência e os tokens do vídeo em espaços RoPE separados para permitir uma modelagem espacial precisa ao nível do sujeito, e a Perda de Consistência entre Pares Cruzados, que visa extrair características intrínsecas do sujeito não afetadas por características irrelevantes. Experimentos extensivos demonstram que o DomainShuttle atinge melhorias significativas de desempenho em relação aos métodos existentes, exibindo alta fidelidade ao sujeito e flexibilidade generativa em diversos cenários de aplicação em domínio aberto.
Apresentamos o Wan-Streamer, um modelo fundamental interativo nativo de streaming, ponta a ponta, projetado desde o início para interação audiovisual full-duplex, em tempo real e de baixa latência. O Wan-Streamer modela perfeitamente linguagem, áudio e vídeo como entrada e saída dentro de um único Transformer, onde a sequência é representada como tokens de entrada visuais, de áudio e de texto entrelaçados, juntamente com tokens de saída visuais, de áudio e de texto, coordenados por atenção bloco-causal para streaming incremental. Diferentemente de sistemas interativos em cascata que dependem de módulos separados de VAD, ASR, linguagem, TTS, animação guiada por áudio ou geração de vídeo, o Wan-Streamer não depende de módulos externos de linguagem, fala, avatar ou geração de vídeo: percepção, raciocínio, geração, temporização da resposta, gerenciamento de turno e sincronização cross-modal são aprendidos conjuntamente dentro de um único modelo unificado, reduzindo a latência do pipeline e o acúmulo de erros. Para suportar responsividade audiovisual natural, redesenhamos toda a pilha em torno da capacidade de streaming, incluindo codificadores causais, decodificadores causais, atenção bloco-causal e agendamento de tokens multimodais de baixa latência, permitindo unidades de streaming tão curtas quanto 160 ms a 25 fps. O Wan-Streamer alcança aproximadamente 200 ms de latência de resposta no modelo e aproximadamente 550 ms de latência total de interação quando combinado com 350 ms de latência bidirecional de rede, suportando comunicação audiovisual full-duplex abaixo de um segundo. Esses resultados posicionam o Wan-Streamer como um modelo fundamental interativo multimodal unificado e ponta a ponta para interação de streaming de baixa latência.
A fotografia no mundo real requer orientação no momento da captura tanto para o enquadramento da câmera quanto para a pose do sujeito. No entanto, os benchmarks existentes de corte estético avaliam principalmente a predição de cortes post-hoc e ignoram recomendações relacionadas ao sujeito, deixando as capacidades de orientação no momento da captura dos modelos de linguagem multimodal (MLLMs) subexploradas. Para preencher essa lacuna, apresentamos o CaptureGuide-Bench, um benchmark com duas tarefas complementares: decisão e refinamento de composição do lado do fotógrafo, e recomendação de pose condicionada ao cenário do lado do sujeito. Nossa avaliação revela limitações: MLLMs de propósito geral podem tomar decisões de composição, mas carecem de localização precisa para refinamento, enquanto modelos especializados de corte estético localizam cortes de forma eficaz, mas se limitam ao refinamento; nenhum deles fornece orientação acionável para a pose. Para apoiar o desenvolvimento de modelos, construímos adicionalmente o CaptureGuide-Dataset, composto por 130 mil amostras com justificativas textuais e anotações visuais estruturadas, e desenvolvemos o ShutterMuse, um MLLM unificado treinado com ajuste fino supervisionado e por reforço. Experimentos no CaptureGuide-Bench mostram que o ShutterMuse alcança o melhor desempenho geral do lado do fotógrafo entre as linhas de base avaliadas e uma recomendação de pose do lado do sujeito competitiva com custo de inferência substancialmente menor, demonstrando o potencial dos MLLMs como assistentes interativos para fotografia durante a captura de imagem.
Modelos de linguagem de grande escala modernos são predominantemente treinados com fatoração autorregressiva e atenção causal. Apresentamos o iLLaDA, um modelo de linguagem de difusão mascarada de 8B treinado do zero com atenção totalmente bidirecional. O iLLaDA mantém o objetivo de difusão mascarada durante todo o pré-treinamento e ajuste fino supervisionado (SFT), escalando o pré-treinamento para 12T tokens e o ajuste fino em um corpus de instruções de 25B tokens por 12 épocas. Além disso, utilizamos geração de comprimento variável para eficiência e introduzimos pontuação baseada em confiança para avaliação de múltipla escolha. Comparado ao LLaDA, o iLLaDA melhora amplamente em benchmarks gerais, matemáticos e de código; por exemplo, o iLLaDA-Base melhora em 21,6 pontos no BBH e 14,9 pontos no ARC-Challenge, enquanto o iLLaDA-Instruct melhora em 14,5 pontos no MATH e 16,5 pontos no HumanEval. Apesar de seu treinamento não autorregressivo, o iLLaDA também permanece competitivo com o Qwen2.5 7B em vários benchmarks. Esses resultados mostram que o treinamento de difusão totalmente bidirecional do zero é um caminho competitivo para modelos de linguagem robustos. Pesos e códigos do modelo: https://github.com/ML-GSAI/LLaDA.
Embora os Grandes Modelos de Linguagem (LLMs) tenham avançado substancialmente a síntese de texto para código, muitas tarefas reais de programação especificam a intenção por meio de artefatos visuais, como capturas de tela, gráficos, desenhos vetoriais, vídeos e estados interativos. Essas tarefas exigem que os modelos conectem a percepção visual a programas executáveis, pois a correção depende não apenas da sintaxe, mas também do layout, da semântica dos dados, do comportamento interativo e de restrições específicas do domínio que se aplicam após a execução. Esta pesquisa examina a Inteligência de Código Multimodal, abrangendo sistemas que geram, editam, refinam ou raciocinam com código sob entradas e saídas visualmente fundamentadas. Primeiramente, formulamos o campo pelo papel que o código desempenha em cada tarefa, distinguindo código como um artefato renderizado, uma estrutura simbólica editável, uma representação científica, um traço de raciocínio intermediário ou uma política executável ou interface de ferramenta. Em seguida, organizamos benchmarks e métodos em quatro domínios: Interface Gráfica do Usuário, Visualização Científica, Gráficos Estruturados e Tarefas e Estruturas de Fronteira. Essa taxonomia conecta problemas maduros de geração de artefatos a configurações emergentes de agentes e unificadas, permitindo-nos comparar como diferentes tarefas tratam as evidências de correção. Olhando para o futuro, argumentamos que pesquisas futuras podem se beneficiar de quatro direções centradas em verificação. A validação multissinal pode combinar evidências complementares de correção, a verificação multiestado pode testar o comportamento ao longo de trajetórias de execução, o teste de transferência entre tarefas pode investigar habilidades visual-código reutilizáveis, e traços verificáveis de agentes podem revelar se as ações dos agentes são fundamentadas em evidências visuais. Juntas, essas direções podem mover este campo da imitação de saída única para sistemas executáveis fundamentados em evidências. Um projeto em andamento e recursos estão disponíveis em https://github.com/xjywhu/Awesome-Multimodal-LLM-for-Code{GitHub}.
Sintetizar um vídeo de nova vista a partir de um vídeo de referência monocular ao longo de uma trajetória de câmera alvo requer tanto consistência geométrica quanto fidelidade de movimento em relação ao vídeo de referência. Métodos existentes baseados em representações 3D explícitas são limitados pela precisão de módulos de reconstrução prontos para uso, que frequentemente produzem geometria imprecisa para objetos dinâmicos em vídeos monoculares. Em contraste, métodos que condicionam apenas a câmera podem alcançar alta qualidade visual, mas frequentemente têm dificuldade em preservar a consistência geométrica e de movimento. Neste trabalho, introduzimos o MVTrack4Gen (Rastreamento de Pontos Multi-Vista para Geração de Nova Vista), uma estrutura de treinamento ciente de movimento que utiliza o rastreamento de pontos multi-vista como um sinal de supervisão geométrica e de movimento adicional para modelos de difusão de vídeo de nova vista que condicionam apenas a câmera. Nossa principal descoberta é que camadas de atenção específicas codificam fortes pistas de correspondência, onde características de consulta atendem a características-chave em localizações geometricamente correspondentes entre vistas e ao longo do tempo, e o desalinhamento dessas correspondências causa inconsistência de movimento. Com base nessa observação, roteamos essas características para uma cabeça auxiliar de rastreamento multi-vista e treinamos conjuntamente o modelo de difusão com um objetivo de rastreamento de pontos. Ao fortalecer explicitamente essas correspondências cientes de movimento, o MVTrack4Gen melhora modelos existentes para seguir melhor o movimento na vista de referência e manter a consistência geométrica entre vistas. Em diversos benchmarks, nosso método alcança consistência geométrica de ponta e precisão de câmera competitiva.
O raciocínio visual de granularidade fina exige que modelos de linguagem grandes multimodais (MLLMs) identifiquem evidências visuais relevantes para a tarefa e fundamentem seu raciocínio em regiões locais da imagem. Métodos agentivos existentes geralmente dependem de aprendizado por reforço com recompensas verificáveis ou de ajuste fino supervisionado em trilhas de raciocínio anotadas em larga escala, o que resulta em exploração custosa, regras de verificação projetadas manualmente ou forte dependência de supervisão textual. Uma forma natural de evitar esses rótulos externos de resposta é aprender a partir de trajetórias amostradas pelo próprio estudante, o que aponta para a Destilação On-Policy (OPD). Para compreender o que a OPD pode e não pode oferecer para o raciocínio visual, revisitamos essa abordagem como um alinhamento de gradiente parado livre de negativos. Essa perspectiva mostra que, embora a OPD forneça correção eficaz no nível de tokens, seu teto é limitado pela ausência de discriminação no nível de trajetórias. Motivados por essas observações, propomos o V-Zero, uma estrutura livre de rótulos de resposta para raciocínio visual com controle de evidências contrastivas. O V-Zero não utiliza rótulos de resposta textual anotados; em vez disso, durante o treinamento, ele combina um recorte regional relevante para a pergunta com uma visão negativa para avaliar as trajetórias amostradas pelo estudante e controlar a destilação densa no nível de tokens. Experimentos em diversos benchmarks de raciocínio visual mostram que o V-Zero melhora consistentemente o raciocínio visual de granularidade fina, preservando forte generalização. Notavelmente, o V-Zero é mais de 5 vezes mais rápido que métodos anteriores de ajuste fino supervisionado e mais de 10 vezes mais rápido que as bases de aprendizado por reforço. O código e o conjunto de dados serão divulgados em https://github.com/eVI-group-SCU/V-Zero.
Gerar um vídeo coerente de múltiplos planos requer memória estruturada entre planos. A aparência do sujeito, o contexto da cena e a identidade do locutor devem persistir entre os cortes. Abordagens existentes ou treinam de ponta a ponta em sequências de comprimento fixo e não conseguem escalar, geram plano por plano com bancos de memória que crescem linearmente, ou orquestram geradores pré-treinados sob um planejador de LLM sem uma espinha dorsal ciente de múltiplos planos. Apresentamos o UnityShots, um sistema de geração audiovisual de múltiplos planos orientado por memória, construído sobre o LTX-2.3 e treinado em planos anotados de cinema e videoclipes. O fluxo de vídeo mantém dois slots de tamanho fixo: um slot de memória de longo prazo (LTM) ancorado no plano de abertura e um slot de memória de curto prazo (STM) contendo a cauda imediatamente anterior, ambos atualizados a cada corte por uma porta condicionada por limite que funde a probabilidade de corte visual e sinais de rastreador de batidas. O fluxo de áudio injeta um token de referência do locutor em cada plano para preservar o timbre vocal sem um banco de áudio deslizante. Um prior discreto de tipo de corte, aprendido por meio de AdaLN, torna-se um parâmetro de controle no momento da inferência sobre a intensidade da transição. Lançamos um benchmark de 200 sequências multiculturais de múltiplos planos, abrangendo seis regiões étnicas e dez ou mais idiomas, com identidades de referência por plano, áudio de referência e rótulos de transição por limite. Avaliado nos modos de condicionamento I2V, T2V e R2V, o UnityShots supera as bases de referência de código aberto em todas as métricas de coerência entre planos e iguala o sistema de código fechado mais forte nos eixos de múltiplos planos.
A difusão de vídeo autorregressiva com transformadores de difusão causal emergiu como um paradigma fundamental para geração de vídeo em streaming em tempo real e modelos de mundo interativos condicionados a ações. Neste trabalho, estendemos o rCM, uma estrutura avançada de destilação de difusão, para a difusão de vídeo autorregressiva. A filosofia central do rCM reside na complementaridade entre as divergências direta e reversa, representadas, respectivamente, pelos modelos de consistência (CMs) e pela destilação por correspondência de distribuições (DMD) na destilação de difusão. Essa filosofia é naturalmente transferida para o contexto autorregressivo, onde o teacher-forcing (TF) fornece um paradigma de treinamento causal offline com divergência direta, enquanto o self-forcing (SF) corresponde a um refinamento on-policy com divergência reversa. Nossas contribuições são: (1) por meio de experimentos extensos, mostramos que o teacher-forcing aplicado a CMs é atualmente o melhor complemento ao self-forcing da DMD como estratégia de inicialização; (2) apresentamos a primeira implementação de CMs em tempo contínuo baseados em teacher-forcing (por exemplo, sCM/MeanFlow) para difusão de vídeo autorregressiva, viabilizada pelo nosso kernel FlashAttention-2 JVP com máscara personalizada, alcançando convergência 10 vezes mais rápida em comparação com CMs em tempo discreto (dCMs); (3) introduzimos o Causal-rCM, uma receita aberta unificada e escalável de algoritmo-infraestrutura de ponta para destilação de difusão e treinamento causal; (4) alcançamos desempenho estado da arte em geração de vídeo em streaming tanto em configurações quadro a quadro quanto em bloco (chunk-wise), utilizando apenas dados sintéticos para treinamento. Notavelmente, nosso modelo causal Wan2.1-1.3B destilado em 2 passos obtém uma pontuação VBench-T2V de 84,63 com apenas 1 ou 2 passos de amostragem. Aplicamos ainda o Causal-rCM ao Cosmos 3, um modelo fundacional mundial omnimodal avançado para IA física com capacidade de geração condicionada a ações, viabilizando um modelo de mundo interativo.
Modelos de linguagem grandes multimodais unificados (MLLMs) alcançaram forte qualidade na geração de texto para imagem, mas ainda enfrentam dificuldades no seguimento de prompt consciente de estrutura, onde contagens de objetos, relações espaciais, vinculações de atributos e layouts grosseiros devem ser preservados. Atribuímos essa limitação, em parte, ao entrelaçamento do planejamento estrutural e da renderização de aparência dentro de um único fluxo de condicionamento. Para abordar esse problema, propomos a Cadeia de Pensamento Visual Implícita (IV-CoT), uma estrutura de raciocínio visual latente para geração de imagem condicionada por consulta. A IV-CoT decompõe as consultas de condicionamento visual em uma cascata estrutural-semântica, na qual consultas estruturais primeiro formam um plano visual latente e, em seguida, consultas semânticas renderizam a aparência condicionada a esse plano. Para orientar as consultas estruturais, introduzimos supervisão de esboço apenas durante o treinamento, que as incentiva a capturar a estrutura a partir de esboços sem exigir extração de esboço ou decodificação intermediária na inferência. A IV-CoT realiza raciocínio CoT implícito em uma única passagem direta e alcança resultados superiores no GenEval e no T2I-CompBench. Visualizações e análises demonstram que as consultas estruturais e semânticas aprendidas desempenham papéis complementares na geração consciente de estrutura.
Apresentamos o EBench, um benchmark de simulação que diagnostica políticas generalistas de manipulação móvel para além de um único escalar de taxa de sucesso. O EBench compreende 26 tarefas de manipulação diversas e desafiadoras, anotadas ao longo de 5 dimensões de capacidade e 4 dimensões de generalização. Avaliamos modelos de manipulação generalista de estado da arte, incluindo π₀, π₀,₅, XVLA e InternVLA-A1, e revelamos que modelos com taxas de sucesso próximas exibem perfis de capacidade notoriamente distintos: π₀,₅ atinge a maior taxa de sucesso nos testes e a melhor retenção treino-teste, enquanto o InternVLA-A1 domina a manipulação móvel, mas colapsa em tarefas dextras, e o XVLA apresenta pontos fortes em um conjunto disjunto de habilidades atômicas em comparação com outras políticas. Além da definição de perfis de capacidade, o EBench analisa a habilidade de generalização a partir de 4 perspectivas representativas, identificando o impacto de diferentes fatores de mudança de distribuição. Os resultados revelam pontos fortes e fracos dos modelos por trás de uma pontuação geral. Esperamos que este benchmark ofereça um amplo conjunto de sinais diagnósticos para orientar a iteração em modelos generalistas de manipulação.
O Guia do Mochileiro da IA Agêntica é uma referência abrangente para profissionais na construção de sistemas de IA autônomos. O livro cobre toda a pilha, desde os primeiros princípios até a implantação em produção, organizado em torno de uma tese central: construir grandes sistemas agênticos exige compreender cada camada do pipeline, não apenas uma. O livro começa com o substrato de LLM — arquitetura transformer, sistemas de GPU, treinamento e ajuste fino (SFT, LoRA, MoE), compressão de modelos e otimização de inferência — tratados como fundamentos essenciais, em vez de foco principal. Em seguida, desenvolve a camada de alinhamento e raciocínio: aprendizado por reforço a partir de feedback humano (RLHF), PPO, DPO e suas variantes, GRPO, modelagem de recompensa e RL para grandes modelos de raciocínio, incluindo cadeia de pensamento e escalonamento em tempo de teste. A segunda metade é dedicada propriamente à IA agêntica. Os tópicos incluem treinamento agêntico e RL baseada em trajetória, geração aumentada por recuperação (RAG e RAG Agêntico), sistemas de memória (em contexto, externa, episódica e semântica), design de arcabouço de agente e gerenciamento de contexto, e uma taxonomia de padrões de design de agentes. A coordenação entre agentes é abordada em profundidade: o Protocolo de Contexto de Modelo (MCP), habilidades de agente e uso de ferramentas, o protocolo de comunicação Agente-para-Agente (A2A) e arquiteturas multiagente abrangendo topologias centralizadas, descentralizadas e hierárquicas. O livro conclui com frameworks de desenvolvimento de agentes, design de UI agêntica, metodologia de avaliação para tarefas agênticas e implantação em produção. Cada capítulo combina fundamentos teóricos rigorosos com orientações de implementação, exemplos de código e referências à literatura primária.
A Cadeia de Pensamento (CoT, do inglês *Chain-of-Thought*) tornou-se um método padrão para melhorar as capacidades de raciocínio em modelos de linguagem de grande escala (LLMs) ao elicitar o pensamento passo a passo, mas sua eficácia em tarefas multimodais ainda não está clara. Neste artigo, objetivamos investigar sistematicamente a questão central: O que o raciocínio multimodal por Cadeia de Pensamento pode fazer, e onde e por que ele falha? Para tanto, avaliamos 12 tarefas multimodais nas categorias de percepção e raciocínio, utilizando 14 modelos sem raciocínio e 8 modelos com raciocínio. Nossa análise revela diversas descobertas importantes: (1) CoT não é uma solução gratuita (*free lunch*) e deve ser usado seletivamente, dependendo dos requisitos específicos de cada tarefa. Para tarefas de percepção, CoT pode levar a efeitos colaterais indesejados, como desempenho reduzido em ancoragem visual (*visual grounding*) e contagem de objetos. Em contraste, mostra-se eficaz em tarefas de raciocínio que envolvem raciocínio matemático, científico e com múltiplas imagens; (2) Comparados aos modelos originais, os modelos existentes de raciocínio multimodal de código aberto frequentemente apresentam apenas melhorias gerais marginais, possivelmente devido a uma ênfase excessiva no raciocínio matemático em detrimento de capacidades mais amplas; (3) O raciocínio visual permanece um gargalo fundamental para o CoT multimodal atual, pois os modelos exibem um padrão de *Olhar Leve, Pensar Pesado* (*Look Light, Think Heavy*), no qual a reflexão verbal cresce e diminui durante o raciocínio, enquanto a reflexão visual diminui consistentemente. Essas descobertas sugerem que, embora o CoT multimodal lide relativamente bem com a reflexão verbal, ele carece da capacidade de manter uma introspecção visual profunda ao longo de todo o processo de raciocínio.
Apresentamos o Autodata, um método geral que capacita agentes de IA a atuarem como cientistas de dados na construção de dados de treinamento e avaliação de alta qualidade. Mostramos como treinar (meta-otimizar) tal agente cientista de dados, de modo que ele aprenda a criar dados ainda mais robustos. Descrevemos a formulação geral e uma implementação prática específica, o Agentic Self-Instruct. Realizamos experimentos em tarefas de pesquisa em ciência da computação, tarefas de raciocínio jurídico e raciocínio com objetos matemáticos, onde obtivemos resultados superiores em comparação com métodos clássicos de criação de conjuntos de dados sintéticos. Além disso, a meta-otimização do próprio agente cientista de dados proporciona um ganho de desempenho ainda maior. A criação de dados por agentes oferece uma forma de converter o aumento do poder computacional de inferência em treinamento de modelos de maior qualidade. No geral, acreditamos que essa direção tem potencial para transformar a forma como construímos dados para IA.
Embora o Video Virtual Try-on (VVT) tenha alcançado progressos notáveis na síntese de sobreposições realistas de vestuário em sujeitos dinâmicos, os paradigmas existentes permanecem fundamentalmente limitados por uma dependência passiva das trajetórias da câmara de origem, não conseguindo acomodar a liberdade interativa necessária para a exploração omnidirecional de pontos de vista. Para colmatar esta limitação, definimos uma fronteira de investigação pioneira: Video Virtual Try-on Controlável por Câmara (CaM-VVT). Ao contrário do VVT convencional, o CaM-VVT não só exige alucinação de texturas independente do ponto de vista, mas também uma sincronização estrutural rigorosa entre as dinâmicas humanas não rígidas e os contextos de fundo sob movimentos de câmara arbitrários e sem restrições. Para enfrentar estes desafios, apresentamos o TryOnCrafter, o primeiro quadro unificado baseado em DiT especificamente arquitetado para a tarefa de CaM-VVT. Afastando-nos da manipulação implícita no espaço de pixéis, introduzimos um Proxy de Try-on 4D Renderizável que separa explicitamente o sujeito humano do ambiente. Isto é alcançado destilando priors de try-on 2D de alta fidelidade num avatar vestido baseado em 3DGS, que é subsequentemente animado através de sequências SMPL-X e alinhado metricamente numa nuvem de pontos de fundo reconstruída. Este proxy estabelece uma base estrutural robusta com densidade de textura e integridade de movimento superiores. O nosso Video DiT Ancorado por Proxy aproveita esta base estrutural robusta como uma âncora geométrica primária, garantindo que os vídeos fotorrealistas sintetizados são estritamente restringidos por trajetórias prescritas e deformações fisicamente plausíveis. Beneficiando da editabilidade inerente do proxy 4D, o TryOnCrafter facilita diversas aplicações downstream, incluindo relocalização humana, efeitos "bullet time" e visão orbital de 360 graus.
WordArt (texto artístico) apresenta fontes, texturas e layouts altamente personalizados, tornando o WATER (Reconhecimento de Texto em Cena Orientado a WordArt) substancialmente mais desafiador do que o STR (Reconhecimento de Texto em Cena) geral. Os conjuntos de dados e métodos de STR existentes, tipicamente construídos em torno de texto de cena regular e entradas de template fixo, têm dificuldade para escalar para WATER. Assim, visamos avançar nessa tarefa tanto sob a perspectiva dos dados quanto dos modelos. No lado dos dados, construímos um conjunto de dados sintético de 2M, WATER-S, com escala aumentada centenas de vezes em relação aos dados de texto artístico existentes. WATER-S consiste em dois subconjuntos complementares. Um renderizado por um pipeline de renderização atualizado (SynthWordArt), que fornece dados WordArt sintéticos altamente precisos e controláveis. O outro é gerado combinando Qwen3-VL para mineração de prompts e Z-Image para síntese de imagens, o que melhora a cobertura de dados realistas e diversos. No lado do modelo, propomos WATERec. Ele adota um codificador visual que suporta entradas de formato arbitrário e um decodificador autorregressivo para modelar layouts complexos, rompendo estruturalmente o gargalo do STR de template fixo em WordArt. Experimentos mostram que essa arquitetura supera métodos anteriores de STR, alcançando desempenho estado da arte em textos irregulares como WordArt. Em conjunto com WATER-R, cuidadosamente reorganizado a partir de dados STR reais existentes, nossa linha de base robusta com os novos dados sintéticos e design de modelo atinge 90,40% de precisão no WordArt-Bench, superando por ampla margem tanto modelos de visão-linguagem de propósito geral quanto especializados em OCR. Código e dados estão disponíveis em https://github.com/YesianRohn/WATER.
A destilação on-policy (OPD) melhora o raciocínio de LLMs ao treinar um modelo aluno em suas próprias saídas geradas, mas a OPD padrão trata todas as saídas geradas pelo aluno (SGAs) igualmente, independentemente de sua informatividade. Observamos uma assimetria consistente em experimentos controlados de filtragem: tanto na OPD quanto na autodestilação on-policy (OPSD), treinar apenas nas SGAs incorretas supera treinar apenas nas corretas. Nossa análise adicional sugere que modelos treinados apenas em SGAs corretas tendem a gerar traços de raciocínio mais curtos e exibir comportamento de reflexão mais fraco, enquanto as SGAs incorretas preservam melhor o raciocínio exploratório próximo ao limite de capacidade do modelo. Para explorar esse sinal sem exigir rollouts completos contendo respostas, introduzimos o ReNIO, que Reatribui Peso à Importância de Trajetórias Negativas para Destilação On-policy de LLMs. Ao usar a razão de probabilidades aluno-professor, o ReNIO identifica tokens pivô que levam a traços de raciocínio errados e agrega suas informações em um peso amostral normalizado, atribuindo inerentemente pesos maiores a trajetórias provavelmente negativas sem observar a correção da resposta final. Como o ReNIO utiliza apenas probabilidades de tokens condicionadas ao prefixo, ele preserva a vantagem do treinamento com prefixo da OPD sobre o aprendizado por reforço com rollout completo. Tanto em tarefas de raciocínio matemático quanto de geração de código, o ReNIO melhora tanto a OPD quanto a OPSD, com ganhos relativos representativos de até 8,90% para Qwen3-1.7B e 10,00% para R1-Distill-Qwen-7B em benchmarks de raciocínio matemático. Repositório de código: https://github.com/BDML-lab/ReNIO.
Recuperar conhecimento externo é essencial para resolver tarefas do mundo real, no entanto, continua a ser desafiador quando a relação entre uma consulta e o conhecimento relevante envolve raciocínio implícito e complexo, além da correspondência semântica ou lexical de superfície (por exemplo, problemas matemáticos que dependem do mesmo teorema ou codificação que exige raciocínio aprofundado). As abordagens existentes baseiam-se principalmente no raciocínio do lado da consulta (por exemplo, reescrita de consultas), o que introduz latência online significativa e subutiliza a oportunidade de realizar raciocínio sobre o próprio corpus de conhecimento (ou seja, raciocínio do lado do índice). Neste artigo, propomos o RL-Index, uma estrutura de indexação agentiva que formula o raciocínio do índice de recuperação como um problema de aprendizado por reforço. Em vez de realizar raciocínio no momento da consulta, o RL-Index desloca o raciocínio para a etapa de indexação, aumentando os documentos com justificativas geradas por LLM que codificam explicitamente a relação latente entre consulta e conhecimento. Para otimizar a qualidade dessas justificativas, empregamos a Otimização Relativa de Política em Grupo (GRPO) e usamos a similaridade de recuperação como um sinal de recompensa verificável, permitindo a otimização direta das decisões de indexação para a eficácia da recuperação. Experimentos extensivos no benchmark BRIGHT demonstram que o RL-Index melhora consistentemente tanto o desempenho da recuperação quanto o da resposta a perguntas a jusante, ao mesmo tempo que reduz significativamente a latência de inferência online. Além disso, o aumento aprendido por justificativas se generaliza para diversos recuperadores e geradores, destacando sua robustez como uma estratégia de indexação plug-and-play em diferentes sistemas de recuperação.
"Fale curto. Elimine gramática. Economize token." Esse estilo das cavernas é amplamente promovido como forma de reduzir o custo de inferência, mas se realmente economiza algo depende de qual canal (o prompt do usuário ou a resposta do modelo) está sendo comprimido. Apresentamos Cavewoman, um protocolo de avaliação de dois canais que pontua cada geração quanto à precisão da tarefa, custo realizado por item e concordância com o texto de referência do modelo sem restrições. Avaliamos oito modelos em cinco conjuntos de dados em cinco níveis de redução, com ambos os canais medidos nos mesmos itens. A compressão de saída reduz o custo realizado na maioria dos modelos de API (1,4–2,4x por modelo, até 3x no melhor caso) e em todos os quatro modelos de pesos abertos sob preços de nível público. A compressão de entrada tem o efeito oposto, um estrito perde-perde: ela aumenta o custo líquido em vez de reduzi-lo (~1,15x na média dos cinco benchmarks, até 1,8x no pior conjunto de dados e 2,7x sob compressão mais forte), porque os modelos compensam com respostas mais longas mesmo enquanto a precisão colapsa. Sob a mesma configuração, o texto superficial diverge da referência sem restrições: nos modelos sem raciocínio, cerca de metade de todas as gerações estão corretas, mas seu texto superficial não implica mais a geração de base sem restrições do próprio modelo. A divergência sobrevive à reavaliação controlada por comprimento, à correção para comparações múltiplas e à replicação sob medidas semânticas complementares. Código e dados estão disponíveis em https://github.com/danielle34/cavewoman.
Os quantizadores de cache KV de baixo bit existentes frequentemente tratam cada chave em cache como um vetor plano. No entanto, sob RoPE, a contribuição de uma chave para um logit de atenção futuro se decompõe em uma soma dependente da posição sobre blocos de frequência bidimensionais. Isso torna a quantização do cache de chaves um problema de alocação de bits por bloco: blocos RoPE de alta energia são mais sensíveis ao erro de quantização e devem receber mais bits. Apresentamos o Block-GTQ, um alocador de bits consciente de RoPE para quantização de cache de chaves, construído sobre o TurboQuant-MSE (TQ-MSE). Para cada camada e cabeça KV, o Block-GTQ calcula uma pontuação de energia sem rótulo para cada bloco RoPE e aloca de forma gulosa larguras de bits inteiras por ganho marginal. Sob orçamentos de bits K/V combinados, o Block-GTQ preserva melhor os logits query-key RoPE em um painel de diagnóstico de dez modelos, reduzindo o MAE por camada em 32-80% com quantização somente K de 2 e 3 b/dim e vencendo todas as 367/367 comparações de camadas contra o TQ-MSE uniforme. Esses ganhos de fidelidade se traduzem em recuperação, compreensão e raciocínio de contexto longo a jusante mais fortes. No K2V2 do Llama-3.1-8B-Instruct, o Block-GTQ eleva a média de seis tarefas NIAH de 70,6 para 97,4, e a média LongBench-EN de 36,87 para 53,31. No AIME 2024/2025 com DeepSeek-R1-Distill-Qwen-7B, sem um buffer de chave recente fp16, o Block-GTQ em K3V2 obtém 51,7/37,5, próximo ao fp16 de 54,2/37,9, enquanto o TQ-MSE uniforme colapsa para 0,0/0,0. Implementamos ainda um caminho de serviço de cache empacotado. Em uma única GPU H800 com Qwen2.5-3B-Instruct, o K3V3 empacotado alcança compressão de cache KV de 3,24x com qualidade comparável ao fp16, executa 1,34x mais rápido que o FlashAttention2 fp16 em contexto de 128K, reduz o pico de memória de 56,31 GB para 19,85 GB, e permanece viável em 256K e 512K onde o fp16 esgota a memória. O código está disponível em https://github.com/JIA-Lab-research/blockgtq.
À medida que os agentes LLM selecionam ferramentas de forma cada vez mais autônoma, suas escolhas entre ferramentas com diferentes privilégios tornam-se relevantes para a segurança. No entanto, estudos anteriores sobre seleção de ferramentas concentram-se em preferências de metadados agnósticas à segurança, deixando escolhas sensíveis a privilégios pouco exploradas. Para preencher essa lacuna, estudamos a seleção de ferramentas com privilégios excessivos, na qual um agente seleciona ou escala para uma ferramenta de maior privilégio apesar de existir uma alternativa suficiente de menor privilégio. Apresentamos o ToolPrivBench para avaliar se os agentes escolhem ferramentas de maior privilégio apesar de existirem alternativas suficientes de menor privilégio, medindo tanto a seleção inicial quanto a escalada após falhas transitórias de ferramentas. Em oito domínios e cinco padrões de risco recorrentes, descobrimos que a seleção de ferramentas com privilégios excessivos é comum entre agentes LLM mainstream e é ainda amplificada por falhas transitórias. Constatamos ainda que o alinhamento geral de segurança não se transfere de forma confiável para a escolha de ferramentas de menor privilégio, enquanto os controles no nível de prompt fornecem apenas mitigação limitada sob falhas transitórias. Portanto, introduzimos uma defesa pós-treinamento ciente de privilégios que ensina os agentes a preferir ferramentas suficientes de menor privilégio e escalar apenas quando necessário. Nossos experimentos de mitigação mostram que essa defesa reduz substancialmente o uso desnecessário de ferramentas de alto privilégio, preservando as capacidades gerais.
Agentes de IA que atuam em nome dos usuários tomam decisões constantemente, e para que os usuários confiem em seus agentes, essas decisões devem estar alinhadas com o que eles realmente desejam. A privacidade é um problema fundamental de alinhamento para agentes: cada mensagem, postagem ou chamada de ferramenta feita por um agente envolve um julgamento contextual sobre o que é apropriado compartilhar, com quem e sob quais condições. Como tais julgamentos dependem de expectativas e normas sociais, o julgamento humano não apenas rotula violações de privacidade, mas também ajuda a defini-las. Embora trabalhos existentes dependam de proxies não confiáveis tanto para treinamento quanto para avaliação, colocamos o julgamento humano no centro do alinhamento de privacidade de agentes. Apresentamos o PrivacyAlign, um conjunto de dados com 1.350 amostras e 3.516 anotações detalhadas de 599 anotadores únicos em diversos cenários onde os LLMs atuais realmente vazam informações, e o utilizamos para fundamentar tanto o treinamento de alinhamento quanto a avaliação automatizada em normas humanas de privacidade. Com base nessas anotações, primeiro mostramos que condicionar avaliadores LLM a anotações e explicações humanas para respostas de referência ao mesmo prompt torna seus julgamentos mais confiáveis. Em seguida, introduzimos a modelagem de recompensa condicionada a anotações, que usa essas anotações para pontuar novas respostas durante o RL, e mostramos que pequenos agentes de peso aberto treinados com essa recompensa se alinham melhor às normas humanas de privacidade, com ganhos significativos no PrivacyAlign e em benchmarks de privacidade existentes para agentes.
Avanços recentes em correspondência estéreo alcançaram precisão notável, mas frequentemente dependem de modelos grandes, computação pesada ou priors adicionais de modelos de base, tornando-os difíceis de implantar em plataformas com recursos limitados. Em contraste, modelos estéreo eficientes oferecem inferência mais rápida, mas são geralmente considerados menos capazes de forte generalização zero-shot. Neste artigo, desafiamos essa suposição ao apresentar o Lite Any Stereo V2 (LAS2), uma série de modelos ultra-rápidos projetada para correspondência estéreo zero-shot eficiente. O LAS2 é desenvolvido tanto do ponto de vista da arquitetura quanto do treinamento. Arquiteturalmente, revisitamos o design estéreo eficiente sob configurações práticas de implantação e propomos uma estrutura de agregação de custos apenas 2D, otimizada para latência real de inferência, e não apenas para MACs teóricos. Para o treinamento, desenvolvemos uma estratégia de três estágios que combina supervisão sintética, autodestilação e destilação de conhecimento do mundo real. Para melhorar a confiabilidade da pseudo-supervisão do mundo real, introduzimos ainda filtragem de pseudo-rótulos e uma operação de clamping de erro, permitindo uma transferência sintético-real mais suave. Instanciamos o LAS2 como uma família de modelos, incluindo variantes feed-forward para diferentes orçamentos de eficiência e uma variante iterativa para maior precisão. Extensos experimentos mostram que o LAS2 atinge precisão estado-da-arte entre métodos estéreo eficientes, mantendo latência significativamente menor. Especificamente, o LAS2-H alcança desempenho zero-shot geral superior ao método iterativo Fast-FoundationStereo, com inferência 1,8x e 2,7x mais rápida em H200 e Orin, respectivamente. A página do projeto, demonstrações e código estão disponíveis em https://tomtomtommi.github.io/LiteAnyStereoV2/.
Ataques de jailbreak revelam uma fragilidade persistente em Modelos de Linguagem de Grande Porte alinhados: prompts cuidadosamente elaborados podem elicitar respostas que violam as políticas, mesmo após treinamento de segurança. Embora a maioria das defesas opere no nível do prompt ou da saída, ainda não está claro como a intenção prejudicial é codificada nas representações internas do modelo. Investigamos essa questão analisando trajetórias de entropia preditiva em nível de token entre camadas de um LLM congelado, utilizando a lente logit. Constatamos que estatísticas agregadas estáticas da entropia do prompt (ex.: média, variância) carregam pouco sinal discriminativo, ao passo que características que capturam como a entropia evolui ao longo das posições dos tokens, como pontuações de tendência baseadas em rank monotônico, são substancialmente mais informativas. De forma importante, esse sinal não é uniforme na profundidade do modelo: ele se concentra em camadas intermediárias e se degrada na camada final, indicando que a estrutura relevante para jailbreak é mais pronunciada nas representações do meio da rede, e não na cabeça de saída. Através de múltiplos modelos (Llama, Qwen, Gemma) e benchmarks adversariais, essas dinâmicas de entropia fornecem separação consistente entre arquiteturas, sem necessidade de treinamento adicional. Em conjunto, nossos achados mostram que o comportamento de jailbreak se reflete em dinâmicas de incerteza intermediárias e estruturadas, esclarecendo tanto quais características derivadas da entropia codificam a intenção prejudicial quanto onde na rede esse sinal é mais pronunciado.
Today's reasoning models use thinking tokens to attain stronger performance on benchmarks than their instruction-tuned counterparts. It is also generally believed that this more "deliberative" mode should improve alignment and safety, by providing the model a safe space to consider whether its planned answer to a request violates its safety principles. We present evidence that this intuition is not always correct. Across frontier open-weight reasoning models spanning GPT-OSS, Qwen, Olmo, and Phi families, we find that the eventual refusal/compliance outcome is already strongly predictable via a trained head on the first token's hidden representation (0.84-0.95 AUROC and sim88% balanced accuracy for predicting refusal/compliance) before any visible thinking. The thinking process turns out to be more akin to prefix completion than to deliberative revision, with the final outcome rarely changing after the first sim20% of thinking, despite giving the appearance of deliberation at the text level (sim74% of text-level deliberations occur when the response distribution is already locked to one refusal/compliance side). We also find that existing inference-time and training-based safety interventions, despite being motivated by the goal of inducing deliberation, largely shift model behavior toward over-refusal while suppressing already-scarce deliberation signals. Our results suggest that safety behavior in current reasoning models is much less deliberative than commonly assumed, and highlight the need for methods that induce real safety deliberation.
Modelos de geração de vídeo são cada vez mais capazes de produzir vídeos realistas, mas ainda enfrentam dificuldades em gerar vídeos que sigam leis físicas básicas. Agravando esse problema, há uma falta de métodos de avaliação granular confiáveis para localizar e especificar violações de leis físicas em vídeos. Abordamos essa questão introduzindo o Physics Question Scene Graph (PQSG), um pipeline de avaliação hierárquica baseado em perguntas. O PQSG avalia vídeos gerados verificando sua fidelidade a um prompt em relação a objetos, ações e adesão a leis físicas, utilizando uma hierarquia baseada em grafos de perguntas geradas por um modelo de visão e linguagem (VLM), guiado por exemplos de contexto de alta qualidade. Ao representar perguntas como um grafo, o PQSG introduz dependências lógicas entre as perguntas, garantindo que cada consulta seja contextualmente válida. Além disso, o PQSG fornece avaliações granulares sobre quais qualidades do vídeo violam restrições de plausibilidade física. Validamos o PQSG criando o FinePhyEval, um conjunto de dados com prompts baseados em física e vídeos gerados correspondentes de diversos modelos de geração de vídeo de última geração (Sora 2, Veo 3 e Wan 2.1), sendo cada vídeo anotado em múltiplas categorias por humanos. Usando o FinePhyEval, medimos a correlação entre as pontuações granulares do PQSG e os julgamentos humanos, mostrando correlações gerais mais altas do que trabalhos anteriores. Também descobrimos que o PQSG classifica modelos de código fechado como superiores ao Wan 2.1 em realismo físico. Por fim, mostramos que as anotações fornecidas no FinePhyEval também podem ser usadas para avaliação de subtarefas: avaliamos dois VLMs robustos na geração e resposta de perguntas, constatando que, embora os modelos possam criar perguntas semelhantes às humanas, ainda ficam aquém do desempenho humano ao respondê-las.
Agentes de longo horizonte dependem de gerenciamento de contexto: sistemas comprimem, resumem e removem tokens antigos para que as tarefas possam continuar além de janelas finitas. Isso só é seguro quando as informações descartadas não são mais necessárias ou foram internalizadas. Planos são o caso crítico: são escritos no início, usados por muitas etapas e os primeiros a serem removidos. Introduzimos o pareamento de replay, um diagnóstico que executa a mesma trajetória com e sem o plano no histórico e mede a distância de cosseno do estado oculto. No Llama-3.1-70B, o sinal do plano atinge pico de 0,453 uma etapa após o plano, caindo 4,1x em uma única etapa de ação-observação; o HotpotQA cai 12,4x. Isso é evidência de que agentes LLM padrão não transportam planos adiante como estado persistente, e dependem, em vez disso, de que o plano permaneça no contexto. Uma sonda na camada L32 detecta essa degradação como diagnóstico, não como prova de que ela lê o conteúdo do plano em si. Modelos de raciocínio adicionam um confundidor de medição: seus traços `<think>` rederivam o conteúdo do plano, de modo que a remoção padrão deixa evidência do plano na condição sem plano. Denominamos isso de confusão do traço de raciocínio e a corrigimos com remoção estrita, que remove blocos `<think>` anteriores apenas da execução sem plano. Isso recupera +163% do sinal da etapa+1 na amostra e +153% fora da amostra, enquanto não altera significativamente o Llama não raciocinante (+4,8%). No DeepSeek-R1-Distill-Llama-70B, uma sonda treinada no Llama transfere com AUROC 0,748 (p=6e-4), enquanto sondas específicas para R1 atingem 1,000, sugerindo que o R1 codifica o sinal do plano em uma direção diferente do estado oculto. Por fim, um teste de estresse de compressão mostra o custo prático: a remoção ingênua do plano reduz o sucesso no ALFWorld em 34,7pp, enquanto o re-surgimento controlado por sonda não o recupera. A contribuição é uma estrutura de medição e teste de estresse que mostra que informações críticas para o agente podem ser residentes no contexto, e não persistentes. O gerenciamento de contexto é essencial, mas apenas a proteção do plano não é suficiente.
A Adaptação Contínua em Tempo de Teste (CTTA) visa manter o desempenho do modelo sob domínios-alvo em evolução, adaptando-se online sem dados rotulados. No entanto, implementações práticas frequentemente não conseguem reter o conjunto de dados de origem devido a restrições de privacidade ou licenciamento, e métodos CTTA puramente livres de fonte tendem a se tornar instáveis sob mudanças de distribuição de longo prazo, sofrendo de erros compostos de auto-treinamento e esquecimento catastrófico. Apresentamos o DO-ALL (Destilar Uma Vez, Adaptar por Toda a Vida), um framework plug-and-play que revisita informações da fonte de forma compacta e consciente da privacidade por meio da Destilação de Conjunto de Dados (DD). Antes da implantação, o DO-ALL realiza DD para produzir um pequeno conjunto de âncoras destiladas sintéticas que resumem a distribuição da fonte. Durante a adaptação, cada amostra-alvo é combinada com sua âncora semanticamente mais alinhada, que fornece uma referência estável para várias CTTA por meio de repetição da fonte, alinhamento de representações e regularização de suavização de variedade. O DO-ALL pode ser integrado perfeitamente em algoritmos CTTA existentes, melhorando consistentemente a robustez de longo prazo nos benchmarks CIFAR100-C, ImageNet-C e CCC. Isso demonstra o potencial de aproveitar a DD para permitir uma adaptação estável e contínua sem reter dados brutos da fonte. O código está disponível em https://github.com/blue-531/DOALL.
Chamada de Ferramentas e Saída Estruturada são duas capacidades centrais de sistemas modernos de Agentes, mas sua interação sob condições de implantação conjunta ainda não é suficientemente compreendida. Este artigo relata um fenômeno reproduzível observado em um sistema Agente de produção: quando a Chamada de Ferramentas e as restrições de Esquema JSON são habilitadas simultaneamente, múltiplos modelos de peso aberto deixam de invocar ferramentas, embora mantenham alta conformidade com o esquema. Referimo-nos a esse comportamento como Supressão de Ferramentas. Por meio de experimentos controlados em várias famílias de modelos e configurações de implantação, reproduzimos consistentemente a Supressão de Ferramentas sob restrições conjuntas, enquanto a execução de ferramentas e a conformidade com o esquema permanecem funcionais quando avaliadas independentemente. Análises adicionais revelam que as restrições de Esquema JSON são compiladas em máscaras de tokens baseadas em gramática, fazendo com que tokens de chamada de ferramenta se tornem inalcançáveis durante a decodificação. Isso fornece uma explicação em nível de implementação para o comportamento observado. Para interpretar o fenômeno, formulamos a hipótese de Inversão de Prioridade de Restrição (CPI), que sugere que a satisfação do esquema pode dominar o comportamento de seleção de ação sob múltiplas restrições simultâneas. Apresentamos a CPI como uma hipótese comportamental consistente com as evidências observadas, e não como um mecanismo interno verificado. Para mitigar o problema, propomos a Execução Transparente em Duas Passagens, uma estratégia em tempo de inferência que desacopla a execução de ferramentas da geração de respostas restritas por esquema. Resultados experimentais mostram que essa abordagem restaura a invocação de ferramentas enquanto preserva as garantias de saída estruturada, sem necessidade de retreinamento do modelo. Essas descobertas sugerem que avaliar o uso de ferramentas e a saída estruturada separadamente pode negligenciar problemas importantes de confiabilidade em sistemas Agente de produção. Código, dados e documentação serão disponibilizados em https://github.com/Fzsama/Constrain-Tax-26-06.git.
A confiança em um sistema de IA é frequentemente ancorada por explicações de como ele funciona, que são então usadas para prever seu comportamento em novas entradas. Para modelos de raciocínio de grande porte (LRMs), essa via convencional é particularmente difícil de seguir: métodos de explicação para gerações de tokens individuais não se generalizam naturalmente para trajetórias longas, e as próprias trajetórias frequentemente não são fiéis quando lidas como linguagem natural. Propomos uma alternativa que contorna a etapa de explicação: tratar a previsão de comportamento como uma tarefa aprendível e treinar Preditores de Comportamento que operam sobre uma única trajetória de raciocínio para fazer as mesmas previsões que normalmente se buscaria a partir de uma explicação. Os dados de treinamento do preditor são obtidos consultando o LRM sem anotação humana, e sua inferência é realizada em uma única passagem direta. Instanciamos essa abordagem em duas tarefas: qual a probabilidade de o LRM repetir sua resposta em novas execuções, e como remover partes da entrada altera sua resposta. Avaliamos essa abordagem em ambas as tarefas em três conjuntos de dados de raciocínio diversos e descobrimos que Preditores de Comportamento treinados são mais precisos do que o GPT-5.4 e o Claude Opus-4.6 lendo as mesmas trajetórias como leitores ingênuos, a uma pequena fração de seu custo de inferência. Constatamos que o ajuste fino da espinha dorsal (backbone) de ponta a ponta e sua inicialização a partir do LRM alvo são ambos necessários para um desempenho robusto. Esses resultados mostram que a trajetória de raciocínio carrega informações sobre o comportamento futuro do LRM que vão além do que a leitura ingênua transmite.
Sistemas expressivos de síntese de fala (TTS) e conversão de voz (VC) geram cada vez mais vocalizações não verbais (NVVs) para aprimorar a naturalidade, tornando essencial uma verificação confiável do locutor (SV) para avaliar objetivamente a consistência de identidade em segmentos verbais e não verbais. No entanto, os sistemas atuais de SV generalizam-se mal para NVVs, e o ajuste fino em dados de NVV causa esquecimento catastrófico do desempenho em fala. Apresentamos o primeiro estudo sistemático abrangendo 10 tipos de NVV e propomos uma abordagem que combina características auto-supervisionadas do Data2Vec congeladas com a ECAPA-TDNN, aprimorada por um módulo de Mistura de Especialistas (MoE) com roteamento aprendido com consciência de domínio. Uma perda de destilação condicional sobre entradas de fala, por meio de um professor pré-treinado, preserva a precisão fala-a-fala, enquanto uma perda contrastiva reduz a lacuna entre os domínios de fala e NVV. Nosso método reduz a TEE (Taxa de Erro Igual) fala-NVV de 38,93% para 22,66% em relação a uma linha de base pré-treinada e melhora a TEE de fala de 13,17% para 9,24% por meio da destilação.