Artigos de pesquisa em IA selecionados diariamente com traduções
Modelos de linguagem visual (VLMs) têm alcançado desempenho robusto em benchmarks de compreensão visual de documentos, como DocVQA, ChartQA e MMLongBench-Doc. No entanto, documentos do mundo real combinam múltiplos fatores — como extensão, complexidade de layout, modalidade e dificuldade das perguntas —, o que dificulta atribuir falhas dos modelos a causas específicas. Apresentamos o SynthDocBench, um benchmark totalmente sintético para compreensão visual de documentos em contexto longo, que controla sistematicamente fatores como extensão do documento, estrutura do layout, composição de modalidades e tipo de pergunta. O benchmark é construído mediante um design combinatório, no qual cada fator varia independentemente entre os documentos gerados, permitindo uma análise controlada do comportamento dos modelos. Os documentos são gerados de ponta a ponta por meio de um pipeline de LLM em seis arquétipos de layout, com uma substituição aleatória de 40% para impedir que os modelos explorem correlações espúrias. Além disso, o SynthDocBench abrange documentos de contexto longo com extensão e diversidade estrutural substancialmente maiores do que os benchmarks existentes. Avaliando sete VLMs de ponta, identificamos três modos de falha que os benchmarks atuais não conseguem revelar: degradação acentuada com a extensão do documento, uma sensibilidade posicional sistemática em que o terço médio de um documento é o mais difícil para cinco dos seis modelos — e cinco dos seis modelos apresentam uma tendência negativa do início para o final (declínio mais acentuado: 8,3 pontos percentuais) —, e o colapso da compreensão de gráficos em cenários de documentos longos. Esses resultados sugerem que os modelos atuais podem estar se superajustando a artefatos de benchmark, em vez de alcançar uma compreensão robusta de documentos visuais em contexto longo.
Neste artigo, propomos o SpectraReward, uma função de recompensa livre de treinamento que transforma MLLMs pré-treinados em modelos de recompensa prontos para uso em aprendizado por reforço para geração de imagens. Em vez de solicitar que o MLLM julgue uma imagem gerada ou responda a perguntas de verificação decompostas, o SpectraReward mede o quão bem o prompt original pode ser recuperado a partir da imagem gerada por meio de uma única passagem direta condicionada por imagem e forçada pelo professor. Utilizamos a log-verossimilhança média do prompt condicionado pela imagem como recompensa, reutilizando diretamente a capacidade de alinhamento imagem-texto pré-treinada do MLLM, sem necessidade de rótulos de preferência ou ajuste fino do modelo de recompensa. Introduzimos ainda o Self-SpectraReward, um caso especial para modelos multimodais unificados, no qual o próprio ramo de compreensão da política serve como modelo de recompensa para seu ramo de geração, formando uma estrutura de autoaperfeiçoamento em malha fechada, sem modelos de recompensa externos ou conhecimento externo. Extensos experimentos validam o SpectraReward por meio de um amplo estudo de RL para geração de imagens, abrangendo dois modelos de difusão, três algoritmos de RL, nove backbones de MLLM de recompensa de quatro famílias de MLLM com parâmetros de 4B a 235B, e cinco benchmarks de texto-para-imagem fora da distribuição. Os resultados mostram que tanto o SpectraReward quanto o Self-SpectraReward melhoram significativa e consistentemente o desempenho da geração, superando métodos anteriores de treinamento de recompensa derivados de MLLM. Análises adicionais revelam que MLLMs de recompensa maiores nem sempre são melhores, enquanto o Self-SpectraReward pode igualar ou superar modelos de recompensa externos muito maiores, sugerindo que o alinhamento entre recompensa e política é um fator chave para a eficácia da RL na geração de imagens. Página do projeto: https://huangrh99.github.io/SpectraReward/
Geradores visuais são excelentes em renderização, mas fabricam com confiança aquilo que desconhecem. As solicitações dos usuários são ilimitadas, em evolução e profundamente de cauda longa: novos personagens, entidades em tendência, eventos posteriores ao corte de dados e muito mais. Esse gargalo de conhecimento do mundo é estrutural: os geradores são treinados em corpora fixos, mas o mundo visual é aberto. Construímos o SearchGen-20K e o SearchGen-Bench, com 20.839 prompts abrangendo doze categorias de falha e vinte e dois domínios, emparelhados com um Corpus SearchGen multimodal pré-executado de 1M para apoiar pesquisas reproduzíveis offline. No SearchGen-Bench, geradores abertos de ponta pontuam apenas de 21 a 28 em 100, um colapso de 40 pontos invisível nos benchmarks existentes. O remédio natural é empregar ferramentas de busca, viabilizando a geração visual agentiva. No entanto, descobrimos que a busca ingênua falha: ela recupera indiscriminadamente, injetando ruído em prompts que o gerador já trata. Atribuímos a causa raiz a uma fronteira de conhecimento específica do gerador e evolutiva: a divisão entre o que um gerador pode internalizar por meio do treinamento e o que deve permanecer no contexto externo. Embora essa fronteira seja difícil de especificar antecipadamente, mostramos que ela é descoberta por meio de um arcabouço de cortreinamento "ensinar-depois-buscar". Mesmo uma versão mínima dessa receita de cortreinamento produz melhoria monotônica, estabelecendo a base para o autoaperfeiçoamento recursivo em geração visual que pode atender a solicitações fundamentadas no conhecimento do mundo. Disponibilizamos o conjunto de dados completo, o corpus de cortreinamento e o corpus de busca como uma ferramenta reproduzível para geração visual aumentada por ferramentas e fundamentada no conhecimento do mundo.
Modelos modernos de IA alcançam desempenho robusto em muitos referenciais consolidados, mas ainda falham em tarefas que humanos consideram quase triviais, como manipular uma string ou desenhar um cachorro com cinco patas. Esses exemplos sugerem que os referenciais existentes podem subestimar pontos cegos persistentes nos sistemas atuais. Apresentamos o blind-spots-bench, um referencial projetado para expor tais pontos cegos por meio de tarefas que parecem simples para humanos, mas continuam desafiadoras para a IA moderna. Coletamos perguntas brutas de alunos em um curso de IA, as limpamos e anotamos com soluções de referência estruturadas, e propomos uma taxonomia de tarefas adaptada ao conjunto de dados resultante de 235 amostras. Desenvolvemos ainda um fluxo de trabalho automatizado de avaliação para testar uma ampla gama de modelos, incluindo modelos de linguagem de peso aberto e código fechado, visão-linguagem e geração de imagens. Nossa análise no blind-spots-bench revela que modelos de fronteira de código fechado podem superar substancialmente modelos de peso aberto com uma diferença de até aproximadamente 10%, mesmo quando alcançam desempenho comparável em referenciais existentes. Uma análise mais granular mostra que nenhum modelo domina todos os tipos de tarefa, e que algumas tarefas permanecem desafiadoras para todos os modelos avaliados. Esses resultados destacam o valor do blind-spots-bench como um teste de estresse diagnóstico para identificar fragilidades concretas nos modelos modernos atuais.
Agentes de codificação devem integrar retornos de ferramentas externas em seu raciocínio contínuo — uma capacidade que o treinamento padrão da esquerda para a direita em código expõe apenas em sua direção direta. Observamos que o ciclo ação-observação-continuação de um agente de codificação é estruturalmente isomórfico a um local de chamada de função, onde um chamador vincula argumentos, um chamado retorna um valor computado em outro lugar, e o código subsequente consome esse valor. Essa estrutura de condicionamento existe em escala da internet em código comum. Nós a exploramos através do treinamento intermediário "fill-in-the-middle" (FIM) consciente de funções: um objetivo auto-supervisionado que mascara funções selecionadas por meio de análise de grafo de dependência de programa e um critério duplo de complexidade-inferabilidade. Realizamos treinamento intermediário no Qwen2.5-Coder-Instruct (7B/14B) e no Qwen3-8B em um corpus descontaminado de 2,6 bilhões de tokens extraído de 968 repositórios GitHub, em seguida aplicamos pipelines de pós-treinamento agentivo existentes. O treinamento intermediário melhora o SWE-Bench-Verified em +2,8/+3,0 para 7B/14B e em +3,2 no Qwen3-8B; os ganhos no SWE-Bench-Lite são de +3,7/+4,0/+5,4 nos mesmos modelos. A melhoria se mantém em dois pipelines de pós-treinamento (R2E-Gym, SWE-Smith) e em uma base não-Qwen2.5 (Qwen3-8B com SWE-Lego). Além dos ganhos no domínio, o treinamento intermediário também mitiga a erosão de capacidade que o pós-treinamento agentivo inflige em tarefas de codificação não agentivas (por exemplo, LiveCodeBench) e benchmarks de uso de ferramentas não codificadoras (tau-bench, BFCL): embora o corpus de treinamento intermediário contenha apenas código Python, o viés indutivo de chamada de função sobrevive ao pós-treinamento e produz ganhos consistentes.
Agentes de codificação baseados em LLMs avançaram significativamente a resolução automatizada de problemas de software, mas ainda são altamente propensos a erros factuais causados por compreensão insuficiente do repositório. Métodos recentes tentam mitigar essa limitação por meio da exploração do repositório antes do reparo; no entanto, suas estratégias orientadas por correção exploram o repositório sem identificar as lacunas de conhecimento do agente, frequentemente produzindo contexto impreciso que não consegue suprir o déficit de compreensão subjacente. Neste artigo, propomos o ACQUIRE, um framework baseado em perguntas e respostas (QA) para resolução de problemas de software. Espelhando como desenvolvedores experientes primeiro compreendem código desconhecido antes de tentar uma correção, o ACQUIRE adquire explicitamente conhecimento do repositório antes do reparo. O framework desacopla a aquisição de conhecimento da geração de patches por meio de duas etapas: na primeira, um Questionador e um Respondedor colaboram para adquirir conhecimento estruturado do repositório, onde o Questionador formula perguntas direcionadas e o Respondedor produz respostas fundamentadas em evidências por meio de exploração autônoma; na segunda etapa, o Resolvedor utiliza o conhecimento QA resultante para gerar patches informados. Ao transformar lacunas implícitas de conhecimento em compreensão explícita e factualmente confiável, o ACQUIRE acelera etapas de reparo intensivas em conhecimento e permite uma resolução mais precisa. Experimentos no SWE-bench Verified demonstram que o ACQUIRE supera consistentemente métodos representativos de pré-reparo, aumentando o Pass@1 em até 4,4 pontos percentuais com custo e tempo adicionais modestos.
Os métodos existentes para transcrição automática de música frequentemente se limitam a gravações de um único instrumento ou falham em mixagens musicais reais complexas. Embora trabalhos anteriores utilizem dados sintéticos de treinamento, os modelos resultantes generalizam mal, gerando saídas de transcrição amplamente inutilizáveis em cenários realistas com múltiplos instrumentos. Neste trabalho, analisamos a eficácia dos dados sintéticos para o pré-treinamento, combinando-os com o ajuste fino em áudio musical real e o pós-treinamento por meio de aprendizado por reforço. Ademais, introduzimos o condicionamento na presença de instrumentos para personalizar as transcrições. Por fim, disponibilizamos o MuScriptor, um modelo de transcrição musical multi-instrumento com pesos abertos que funciona em gravações musicais do mundo real, abrangendo uma ampla diversidade de gêneros musicais.
Codificadores visuais convencionais são pré-treinados em imagens naturais e não podem ser aplicados efetivamente a imagens de documentos sem uma adaptação orientada a documentos, pois o texto denso e os traços finos de caracteres exigem percepção visual em nível de caractere. Apresentamos o MonkeyOCRv2, um modelo pré-treinado em texto visual para IA de documentos. Primeiro, construímos o MonkeyDoc v2, que é, até onde sabemos, o maior corpus de pré-treinamento de imagens de documentos, compreendendo 113 milhões de imagens em 17 idiomas. Em segundo lugar, propomos uma estratégia de pré-treinamento que aprende conjuntamente a geração de imagem para texto e a reconstrução de documentos em nível de pixel: a primeira alinha as representações visuais com o conteúdo textual, enquanto a última preserva os traços dos caracteres e os detalhes do layout. Experimentos extensivos são realizados em cinco tarefas representativas de análise de documentos, incluindo reconhecimento de texto, reconhecimento de fórmulas, detecção de texto, detecção de adulteração de documentos e segmentação de texto sobreposto. A substituição dos codificadores originais pelo MonkeyOCRv2 melhora consistentemente o desempenho em todas as cinco tarefas. Finalmente, validamos sua eficácia como codificador visual de modelos de linguagem grandes multimodais nas tarefas mais desafiadoras de análise e compreensão de documentos. Mantido congelado e emparelhado com um modelo de linguagem leve, ele produz um modelo de análise de documentos de 0,7B que estabelece um novo estado da arte de código aberto no MDPBench, um benchmark recente que abrange documentos nativos digitais e fotografados em 17 idiomas, superando o melhor anterior de 3B dots.mocr em 2,8% absoluto com um codificador visual aproximadamente 11 vezes menor. O codificador congelado também alimenta um modelo de compreensão de documentos que supera os equivalentes construídos sobre CLIP, DINO e SAM em oito benchmarks, sob configurações de treinamento idênticas. Esses resultados sugerem que o pré-treinamento visual orientado a documentos pode servir como base para a inteligência de documentos por si só.
Partindo da utilização de redes neurais profundas para aproximar a função estado-ação valor, que levou à vitória num dos jogos mais desafiantes, até aos avanços algorítmicos que permitiram resolver problemas sem sequer explicitar explicitamente as regras do desafio em questão, a investigação em aprendizagem por reforço tem estado no centro de um notável progresso científico na última década. Neste artigo, focamo-nos nos ingredientes-chave deste progresso de investigação e analisamos os paradigmas canónicos de avaliação e conceção em aprendizagem por reforço. Introduzimos os fundamentos teóricos das leis de escala em aprendizagem por reforço e mostramos que o desempenho assintótico dos algoritmos de aprendizagem por reforço não apresenta uma relação monotónica entre as classificações de desempenho e os regimes de dados. Conduzimos experiências em larga escala e os nossos resultados demonstram que uma linha de investigação em aprendizagem por reforço sob os paradigmas canónicos de conceção e avaliação resultou em conclusões incorretas. A nossa análise e resultados fornecem uma análise central sobre escala, capacidade e complexidade da aprendizagem por reforço profunda.
Agentes baseados em modelos de linguagem de grande escala (LLMs) estão começando a automatizar a engenharia de aprendizado de máquina (MLE) ao acoplar planejamento, execução de código, depuração e feedback empírico. Traduzir essa capacidade para a imagem médica continua sendo desafiador, pois cada tarefa impõe experimentação específica da modalidade, além de requisitos rigorosos para protocolos de validação e artefatos de previsão. Aqui apresentamos o AMID, uma estrutura autônoma multiagente para desenvolvimento de modelos de imagem médica. O AMID primeiro propõe o Planejamento de Métodos Condicionado aos Dados, que refina espaços de busca grosseiros em nível de tarefa em trilhas de métodos executáveis e paralelizáveis, fundamentadas na análise específica dos dados e em recursos executáveis de imagem médica. Em seguida, desenvolve a Otimização em Dois Estágios Guiada por Verificação, que transita de uma ampla exploração inicial de diversas trilhas de métodos para a exploração seletiva de candidatos promissores, impondo verificação rigorosa de protocolos de validação, cálculo de métricas e artefatos de previsão durante todo o processo de otimização. Em 20 tarefas de desafios de imagem médica abrangendo diversas modalidades e tipos de previsão, o AMID superou sistemas de MLE de propósito geral avaliados e, em várias tarefas, se aproximou ou igualou soluções robustas de desafios projetadas por humanos. Esses resultados sugerem que o AMID pode transformar o desenvolvimento de modelos de imagem médica específicos para cada tarefa, de uma engenharia manual sob medida em um fluxo de trabalho agêntico para produzir artefatos de modelo de alto desempenho e auditáveis em tarefas heterogêneas.
Este trabalho apresenta uma formulação unificada para modelos de visão, na qual diversas formas de informação visual além de imagens naturais, como máscaras, mapas de profundidade e outros sinais visuais estruturados, são todas representadas como imagens RGB, enquanto tarefas visuais gerais podem ser convertidas em um problema comum de edição de imagem RGB-para-RGB. Nesse paradigma, diferentes tipos de informação visual compartilham internamente a mesma arquitetura de codificação e decodificação e os mesmos parâmetros que as imagens naturais, permitindo que um único modelo realize transferência entre tarefas por meio de uma interface visual unificada, de forma análoga ao modo como modelos de linguagem operam sobre texto. Denominamos essa formulação de RGB In e RGB Out (RINO). Construído sobre um backbone genérico de edição de imagens, sem ajuste fino específico para tarefas, o RINO demonstra desempenho zero-shot robusto e competitivo tanto em tarefas densas de compreensão, como segmentação e estimativa de profundidade (nas quais unificamos as saídas como RGB), quanto em tarefas de geração condicionada densa, como geração de pose para imagem (nas quais unificamos as entradas como RGB). Esperamos que este estudo forneça insights úteis para sistemas unificados gerais de visão-linguagem, nos quais diversas tarefas visuais possam ser expressas, interpretadas e resolvidas por meio de uma linguagem visual compartilhada. O código está disponível em https://github.com/yangtiming/RINO.
Modelos de linguagem de grande escala ajustados para previsão podem ser precisos, mas mal calibrados, e seu raciocínio em cadeia de pensamento (CoT) pode não refletir fielmente as evidências por trás de uma previsão. Perguntamos se as representações internas oferecem uma janela mais direta para ambos. Trabalhando com o Eternis-Forecaster 8B no OpenForesight, treinamos sondas de pooling de representações em ativações intermediárias e descobrimos que elas alcançam uma calibração substancialmente melhor; um resultado que também se aplica ao GLM-4.7-Flash e ao GLM-4.5-Air. Em seguida, avaliamos a fidelidade do CoT por meio de ablação de evidências e injeção diversionária: remover uma fonte influente no prompt frequentemente altera a previsão do modelo enquanto deixa o traço de raciocínio intacto. As mesmas sondas funcionam como detectores de mentiras: suas ativações acompanham as mudanças comportamentais muito melhor do que o traço de raciocínio, e também preveem a direção da mudança em 84% dos casos, inclusive quando o CoT oculta a influência da perturbação. Finalmente, a resposta forçada revela que as previsões são amplamente fixadas antes do início do raciocínio: uma única passagem pré-raciocínio recupera a resposta comprometida e a confiança, e encaminhar perguntas pela dispersão dessa distribuição de respostas predefinida economiza 30-47% dos tokens gerados, sem perda de precisão. Juntos, esses resultados estabelecem a sondagem de representações internas como uma ferramenta prática para calibrar, auditar e triar modelos de linguagem preditivos e modelos de raciocínio de forma mais ampla.