Artigos de pesquisa em IA selecionados diariamente com traduções
O aprendizado por reforço (RL) tem recebido atenção crescente no pós-treinamento de modelos de linguagem de grande escala (LLMs), porém o treinamento RL permanece frágil e pode sofrer de instabilidade ou colapso. Uma causa vital é a incompatibilidade entre treinamento e inferência: LLMs adotam mecanismos separados de inferência e treinamento para eficiência de geração e precisão de treinamento, o que na prática exibe probabilidades inconsistentes para as mesmas trajetórias nos lados de treinamento e inferência, mesmo com parâmetros do modelo sincronizados. Isso naturalmente induz um tipo especial de caráter off-policy que sempre existe e envenena o treinamento. Trabalhos anteriores fizeram vários esforços para lidar com esse caráter off-policy a fim de estabilizar as políticas de treinamento sob a incompatibilidade. Neste artigo, apontamos o desalinhamento de objetivo negligenciado por trabalhos existentes: uma atualização efetiva da política no mecanismo de treinamento não garante necessariamente a melhoria da política de inferência, ou seja, aquela usada na implantação. Para isso, propomos um novo objetivo de otimização de política para RL de LLMs, denominado Melhoria Monotônica da Política de Inferência (MIPI). Seguindo esse princípio, apresentamos a Atualização Monotônica da Política de Inferência (MIPU), uma estrutura de RL de LLM em duas etapas que constrói atualizações candidatas referenciadas pelo amostrador e aceita seletivamente candidatos sincronizados usando um proxy de lacuna do lado da inferência. Experimentos realizados em duas escalas de modelo sob alta incompatibilidade mostram que o MIPU melhora o desempenho médio de raciocínio e a estabilidade do treinamento.
Modelos de IA incorporada atualmente abrangem modelos de visão-linguagem-ação (VLA) e modelos mundo-ação (WAMs), mas a implantação prática permanece fragmentada em stacks Python específicos de cada modelo, suposições de backend e código de cola no lado do robô, especialmente em dispositivos de borda heterogêneos. Os runtimes de inferência existentes são projetados principalmente para serviço requisição-resposta e, portanto, não atendem ao contrato de tempo de execução da implantação incorporada: execução multirritmo dentro de controle em malha fechada, inferência lote-1 com foco em latência em hardware heterogêneo e interfaces incorporadas extensíveis além de E/S de tokens fixos. Apresentamos o Embodied.cpp, um runtime de inferência C++ portátil para modelos incorporados. Com base em uma análise arquitetural de modelos VLA e WAMs representativos, o Embodied.cpp captura um caminho de execução compartilhado e o organiza em cinco camadas: adaptadores de entrada, construtores de sequência, execução do backbone, plugins de cabeça e adaptadores de implantação. O runtime fornece execução multirritmo modular, inferência fundida com foco em latência e suporte extensível a operadores e E/S, permitindo implantação em dispositivos heterogêneos, robôs e simuladores por meio de uma abstração de backend. Avaliamos o Embodied.cpp em dois modelos VLA, HY-VLA e pi0.5, e em um benchmark WAM preliminar usando um bloco Transformer LingBot-VA. As implantações VLA alcançaram execução bem-sucedida em malha fechada com taxas de sucesso de tarefa de 100,0% e 91,0%, respectivamente. O benchmark WAM reduziu a memória do bloco de 312,2 MiB para 88,1 MiB. Esses resultados mostram que o Embodied.cpp melhora a eficiência da implantação enquanto preserva alta precisão em diversas arquiteturas de modelos incorporados.
Transformadores de difusão (DiTs) alcançam geração de imagens e vídeos de última geração, mas sua amostragem em múltiplas etapas e o número crescente de parâmetros tornam a inferência cara. A quantização pós-treinamento (PTQ) é o remédio natural, porém as ativações dos DiTs variam entre etapas temporais, prompts e ramos de orientação, forçando métodos anteriores a reajustar os dados de calibração para cada novo checkpoint ou modalidade. Apresentamos o OrbitQuant, um quantizador de pesos e ativações independente dos dados que contorna a estimação de faixas ao quantizar em uma base normalizada e rotacionada. Nessa base, uma rotação aleatória permutada por blocos de Hadamard (RPBH) concentra cada coordenada em torno de uma marginal fixa e conhecida, independentemente da entrada, de modo que um único código de Lloyd-Max atende a todas as etapas temporais, prompts e camadas de uma dada dimensão de entrada. Estendemos o mesmo quantizador para linhas de pesos offline, absorvendo a rotação nos pesos de modo que ela se cancele dentro de cada camada linear, restando apenas uma rotação adiante nas ativações em tempo de execução. A mesma receita é transferida de imagem para vídeo sem ajuste por modalidade. Em FLUX.1, Z-Image-Turbo, Wan 2.1 e CogVideoX, o método estabelece o estado da arte para PTQ em várias configurações de baixa precisão. Ele também leva a PTQ de transformadores de difusão de imagem a W2A4 com qualidade de geração utilizável.
Modelos fundamentais Visão-Linguagem-Ação (VLA) alcançaram recentemente um forte progresso em inteligência incorporada. Para reduzir a frequência de chamadas de política enquanto preservam a coerência temporal, a maioria das políticas generativas adota um mecanismo de chunk de ações, executando múltiplas ações futuras de forma open-loop sob um horizonte de ação fixo. No entanto, esse paradigma "prever-depois-executar-cegamente" sacrifica a reatividade em malha fechada: em interações físicas ricas em contato, mesmo pequenas perturbações locais podem amplificar-se rapidamente dentro do ponto cego do open-loop, levando a erros compostos e, em última análise, à falha da tarefa. Para lidar com essa limitação, propomos o VLA-Corrector, um framework de inferência corretiva leve para políticas VLA com chunk de ações. Sem modificar os pesos da política principal, o VLA-Corrector introduz um Monitor de Visão em Espaço Latente (LVM) leve que compara continuamente a evolução prevista e real das características visuais, permitindo a detecção online de desvios na dinâmica visual. Uma vez detectado um desvio persistente, o sistema aciona um evento de truncamento, descarta as ações restantes obsoletas e invoca um replanejamento corretivo via Orientação por Gradiente Online (OGG). O mecanismo de detectar-e-corrigir do VLA-Corrector induz naturalmente um horizonte de ação adaptativo acionado por eventos: ele preserva a execução de longo horizonte quando o chunk atual permanece confiável e invoca um replanejamento corretivo de curto horizonte quando a execução começa a se desviar. Ao fazer isso, o VLA-Corrector mitiga o trade-off imposto por horizontes estáticos entre robustez de execução e frequência de chamadas de política. Ele pode ser integrado em diferentes modelos VLA sem necessidade de retreinar a espinha dorsal do VLA, interrompendo erros compostos enquanto preserva grande parte do benefício de eficiência do chunk de ações e melhora substancialmente a robustez em tarefas de manipulação robótica de longo horizonte e ricas em contato.
Construir Modelos de Visão-Linguagem (VLMs) performáticos exige uma curadoria cuidadosa de conjuntos de dados de treino em larga escala, mas a comunidade carece de benchmarks sistemáticos para avaliar tais estratégias de curadoria. Apresentamos o DataComp para VLMs (DCVLM), um benchmark para experimentos controlados centrados em dados com o objetivo de melhorar o treino de VLMs. Como parte do DCVLM, recolhemos 160 conjuntos de dados abrangendo quatro tipos de dados — pares imagem-legenda, documentos multimodais intercalados, apenas texto e dados de ajuste de instrução — num corpus de 6T de tokens multimodais. O DCVLM permite que os participantes testem estratégias de curadoria (filtragem, mistura, formatação, amostragem) em modelos de 1B a 8B e orçamentos de tokens de 6.25B a 200B. Os modelos são então avaliados num conjunto cuidadosamente selecionado de até 52 benchmarks downstream em 9 domínios. Realizamos experiências extensas no DCVLM e concluímos que a mistura de dados, e não a filtragem, é a chave para um conjunto de dados de treino de alta qualidade: misturas com forte presença de instruções escalam melhor do que as com forte presença de legendas, com ganhos que se alargam em escalas maiores. O conjunto de dados resultante, DCVLM-Baseline, permite treinar um VLM de 8B para uma acurácia de 63,6% no nosso conjunto central de 33 tarefas com 200B de tokens de treino. Em comparação com o FineVision, o conjunto de dados de treino VLM aberto de última geração, isto representa uma melhoria de +5,4 p.p. O DCVLM e todos os artefactos que o acompanham serão disponibilizados publicamente em https://www.datacomp.ai/dcvlm/.
O rápido crescimento da infraestrutura de IA de código aberto, desde motores de servição de modelos e plataformas de agentes até o ecossistema do Protocolo de Contexto de Modelo (MCP) e os próprios modelos de linguagem, superou as ferramentas de segurança disponíveis para defendê-la. Apresentamos o AI-Infra-Guard, uma estrutura de código aberto que organiza o red teaming de IA em torno de uma única observação: a superfície de ataque de um agente de IA é estratificada em camadas (infraestrutura, protocolo/ferramenta, comportamento do agente e modelo), e nenhum paradigma de detecção único se adequa a todas elas. A estrutura, portanto, associa um paradigma a cada camada, desde correspondência determinística de regras sobre mais de 75 componentes de IA e mais de 1.400 regras de vulnerabilidade, passando por auditoria agentiva orientada por LLM de servidores MCP e pacotes de habilidades de agentes e red teaming multi-turn de agentes em caixa preta, até um harness de jailbreak com mais de 26 operadores de ataque em dezesseis conjuntos de dados. Até onde sabemos, é a única estrutura de código aberto a abranger tudo isso, incluindo a auditoria da cadeia de suprimentos das habilidades dos agentes que cada vez mais estendem os agentes de IA. Lançamos o AI-Infra-Guard como código aberto para que a correspondência camada-paradigma possa servir como base prática para a segurança de agentes e como uma base compartilhada para a comunidade desenvolver.
LLMs são cada vez mais utilizados para gerar ideias de pesquisa, mas as avaliações existentes geralmente julgam ideias individuais com base em novidade, viabilidade ou preferência de especialistas. Em vez disso, perguntamos: até que ponto as ideias atualmente geradas por LLMs se distanciam das ideias de pesquisadores humanos? Para caracterizar essa lacuna, construímos uma estrutura de avaliação em larga escala para ideação a partir de artigos de pesquisa humana de alta qualidade. Para cada artigo, reconstruímos engenharia reversa de um pequeno conjunto de trabalhos anteriores intimamente relacionados que provavelmente inspiraram sua ideia central. Os LLMs são então instruídos a gerar uma nova ideia a partir do conjunto de títulos e resumos dos artigos. Introduzimos uma taxonomia de gosto de pesquisa de dois eixos para traçar o perfil de cada ideia por seu padrão de oportunidade e paradigma de pesquisa, e a utilizamos para quantificar a divergência entre ideias humanas e de LLMs. Em conjuntos de ideias gerados por diferentes LLMs, observamos uma lacuna distribucional consistente: as ideias dos LLMs estão desproporcionalmente concentradas em torno de oportunidades do tipo ponte e métodos de síntese, enquanto a distribuição de referência dos artigos humanos se espalha mais amplamente por diferentes formas de enquadrar lacunas e construir contribuições. Esse resultado sugere que LLMs fortes podem produzir uma gama de ideias razoáveis, mas essa gama permanece mais estreita e sistematicamente deslocada em relação ao gosto de pesquisa humano.
À medida que sistemas de QA fundamentados são cada vez mais implantados em assistentes de IA, atribuir com precisão respostas geradas a evidências é fundamental para a confiança do usuário e a segurança do modelo. Embora atribuições unimodais tenham sido exploradas em profundidade, o cenário multimodal permanece relativamente pouco estudado. Como resultado, apresentamos o MultAttnAttrib, um método de geração de atribuição livre de treinamento que aproveita o passo de pré-preenchimento do modelo, cabeças de atenção selecionadas e limiares calibrados para localizar evidências de origem dentro de um documento. Para estabelecer resultados de referência para o método, introduzimos o MultAttrEval, um conjunto de dados de referência complementar anotado com atribuições de verdade fundamental em nível fino para componentes de resposta fundamentados em documentos-fonte multimodais. Até onde sabemos, este é o primeiro conjunto de dados de avaliação projetado especificamente para atribuição multimodal em documentos longos. Resultados experimentais mostram que o MultAttnAttrib supera consistentemente uma variedade de métodos de geração de atribuição, incluindo várias abordagens robustas baseadas em prompts, e equipara-se a modelos de fronteira recentes, como o GPT 5.4. Nosso método não apenas melhora substancialmente a acurácia da atribuição tanto para tipos de atribuição unimodal quanto multimodal, mas também produz atribuições com até um sétimo da latência de inferência direta em comparação com o uso de prompts no mesmo modelo base.
A remoção de nuvens (CR) é essencial para o sensoriamento remoto óptico, servindo como pré-requisito para uma interpretação downstream confiável, como segmentação semântica e detecção de mudanças. No entanto, as abordagens existentes de CR frequentemente priorizam o realismo visual, ignorando seu impacto em tarefas analíticas subsequentes, resultando em deriva semântica e degradação do desempenho downstream. Para resolver esse problema, propomos o Geo-Anchored Cloud Removal (GACR), uma estrutura unificada que garante simultaneamente reconstrução fiel e interpretabilidade robusta. Em seu núcleo, o GACR incorpora o Observation-Anchored Residual Flow (OAR-Flow), que reformula a CR como um processo de inversão residual fisicamente fundamentado. Ao ancorar a trajetória generativa na observação nublada, em vez de ruído puro, o OAR-Flow possibilita uma reconstrução rápida, estável e fiel. Para preservar ainda mais as estruturas semânticas críticas para a interpretação downstream, o GACR integra o Geo-Contextual Prior Alignment (GCPA) para restringir a reconstrução a uma variedade semântica induzida por um Vision Foundation Model (VFM). Consequentemente, o GACR mantém estritamente a integridade espaço-semântica de paisagens complexas. Extensos experimentos em seis conjuntos de dados de CR e doze tarefas downstream demonstram que o GACR produz qualidade de reconstrução superior, enquanto melhora consistentemente a precisão das tarefas downstream. O código está disponível em https://github.com/wzy6055/GACR.
GraphRAG é uma extensão da geração aumentada por recuperação (RAG) que apoia modelos de linguagem de grande escala (LLMs) ao referenciar dados estruturados em grafos como conhecimento externo. Embora essa técnica idealmente capture relações intrincadas, ela frequentemente enfrenta dificuldades com representações de grafos para LLMs, especialmente para LLMs congelados, devido ao desalinhamento entre características latentes baseadas em grafos e baseadas em texto. Abordamos esse problema introduzindo o {\it Mascaramento Adaptativo para Incorporação de Grafos (AGE)}. O AGE emprega um Transformer em uma abordagem de aprendizado auto-supervisionado (SSL) baseada em máscaras. Projetamos a arquitetura de forma similar aos codificadores de incorporação de texto, tratando o desalinhamento das características latentes. Em contraste com textos em linguagem natural, grafos são representações concisas, e existem {\it nós-chave} que contêm informações contextuais dominantes, difíceis de prever a partir de seus arredores. Mascarar tais nós-chave leva à ineficiência no processo de SSL. Portanto, o AGE foca em prever nós além dos nós-chave, utilizando um amostrador de nós aprendível. Nossos resultados experimentais indicam que o AGE melhora significativamente abordagens que utilizam componentes de busca não paramétrica em tarefas de GraphQA, alcançando precisão superior em quatro conjuntos de dados de referência com características distintas.
O controle de profundidade de campo é uma ferramenta fundamental na fotografia, mas a edição de bokeh após a captura a partir de uma única imagem ainda é desafiadora. Um editor prático deve lidar com imagens capturadas sob configurações arbitrárias de foco e abertura. Métodos existentes geralmente assumem uma imagem totalmente em foco como entrada, ou primeiro recuperam uma imagem totalmente em foco antes de renderizar novo bokeh. Essas abordagens podem descartar sinais úteis de desfoque da imagem original e propagar artefatos de reconstrução para a edição final. Apresentamos o AnyBokeh, uma framework guiada por física para edição de bokeh any-to-any. Em vez de tratar o desfoque da fonte meramente como uma degradação a ser removida, o AnyBokeh estima o estado de desfoque da fonte com um mapa de círculo de confusão sinalizado e um mapa de disparidade. Ao modelar a relação linear entre o círculo de confusão sinalizado e a diferença de disparidade, o AnyBokeh estima uma impressão digital óptica específica da fonte e transfere as características ópticas da fonte para a configuração desejada de foco e abertura. Um editor generativo condicionado aos mapas de círculo de confusão da fonte e do alvo realiza síntese de desfoque relativo, permitindo desborramento adaptativo espacialmente, preservação e renderização de desfoque. Para apoiar aprendizado supervisionado por física, construímos ainda um conjunto de dados sintético de alta fidelidade com profundidade precisa, distância de foco e metadados EXIF completos. Experimentos em benchmarks do mundo real mostram que o AnyBokeh alcança edição fiel e controlável em edição de bokeh any-to-any, renderização de totalmente em foco para bokeh e desborramento de desfoque, evitando a reconstrução de totalmente em foco e a calibração em nível de bokeh no momento do teste comumente exigidas por abordagens existentes. O código e o dataset estarão disponíveis em https://github.com/itsmag11/AnyBokeh.
A experiência especializada em epilepsia é escassa em ambientes com recursos limitados, tornando o suporte à decisão baseado em LLM atraente para clínicos da linha de frente que gerenciam tratamento longitudinal. Tais sistemas devem se adaptar à prática local de prescrição e saber quando adiar. Estudamos esse problema no cuidado pediátrico da epilepsia em Uganda, prevendo regimes de medicação antiepiléptica a partir de notas clínicas não estruturadas longitudinais. O prompting padrão atinge uma concordância não trivial com as prescrições médicas, mas a revisão de neurologistas mostra que muitos erros refletem padrões de prescrição com calibração de distribuição inadequada, e não falhas em interpretar o registro local. Apresentamos o MANANA, uma estrutura de aprendizado de prompts não paramétrica que aprende orientações locais de prescrição a partir de um pequeno conjunto de treinamento em nível de paciente. O MANANA converte erros de prescrição observados em memórias de prompt auditáveis, instanciadas em variantes de agente único e multiagente, e supera modelos clássicos de ML, prompting direto de LLM e baselines de otimização de prompts em duas coortes ugandenses coletadas de forma independente. Propomos ainda a média bayesiana de prompts, que converte a trajetória de prompts aprendida em probabilidades de prescrição e um sinal de adiamento baseado em incerteza. Na coorte de validação independente coletada, isso melhora a precisão das três principais prescrições por visita em 4 a 8 pontos percentuais em relação às baselines de otimização de prompts e possibilita a predição seletiva: o sistema pode lidar automaticamente com a metade dos casos mais confiável com 95% de precisão, ou com o quarto mais confiável com 99% de precisão, enquanto adia os casos de menor confiança para revisão especializada.
Estudamos o Enriquecimento de Conteúdos Gerados (ECG), uma tarefa de geração condicional de imagens na qual uma descrição esparsa de cena é primeiro enriquecida por meio de uma representação explícita de cena e depois renderizada em conteúdo visual semanticamente mais rico. Sistemas convencionais de geração de imagens podem produzir resultados visualmente realistas a partir de descrições limitadas de cena, mas o conteúdo adicionado geralmente é implícito no gerador, em vez de representado como uma estrutura intermediária inspecionável. Em contraste, o ECG busca tornar o enriquecimento da cena explícito ao nível da representação da cena, enquanto examina suas consequências visuais durante a geração, com o objetivo de incentivar um conteúdo gerado que seja visualmente plausível, estruturalmente coerente e semanticamente mais rico do que a entrada esparsa. Para instanciar o ECG, propomos uma estrutura adversarial treinada conjuntamente que enriquece grafos de cena modelando a semântica dos objetos e as relações entre objetos. Nossa abordagem primeiro representa a descrição de entrada como um grafo de cena, onde nós modelam objetos e arestas capturam relações entre objetos. A estrutura utiliza redes convolucionais em grafos para prever objetos adicionais e suas relações com a cena existente. Finalmente, o grafo de cena enriquecido é passado pelo pipeline de geração de imagens downstream para gerar o conteúdo visual correspondente. Avaliamos a estrutura com métricas proxy de enriquecimento de grafos de cena, comparações de qualidade de imagem, exemplos qualitativos e estudos de usuários no conjunto de dados Visual Genome.