Papers Diários

Modelos de linguagem grandes multimodais (MLLMs) têm alcançado progressos notáveis em tarefas de compreensão visual. No entanto, a maioria dos MLLMs existentes depende de geração autorregressiva, o que limita sua eficiência para tarefas de percepção que exigem a descrição de múltiplas regiões. Neste trabalho, propomos o PerceptionDLM, um modelo de linguagem multimodal por difusão otimizado para percepção paralela eficiente de regiões. Construído sobre o PerceptionDLM-Base, uma forte linha de base fundamental que alcança desempenho de estado da arte entre os MLLMs de difusão de código aberto, nossa arquitetura aproveita plenamente a natureza de decodificação paralela dos DLMs. Especificamente, introduzimos prompting eficiente e mascaramento de atenção estruturado para permitir a percepção simultânea de múltiplas regiões mascaradas, permitindo que o modelo gere descrições de regiões em paralelo tanto no nível de sequência quanto no nível de token. Esse design melhora significativamente a eficiência de inferência em comparação com abordagens existentes que processam regiões sequencialmente. Para avaliar sistematicamente a propriedade de paralelismo da capacidade de percepção visual para DLMs, construímos um novo Benchmark de Descrição Localizada Detalhada Paralela (ParaDLC-Bench), escalando o DLC-Bench para incluir múltiplas máscaras de região por imagem, permitindo a avaliação conjunta tanto da qualidade da descrição quanto da eficiência de inferência. Experimentos demonstram que o PerceptionDLM mantém desempenho competitivo na descrição de regiões, ao mesmo tempo que alcança ganhos substanciais de velocidade para tarefas de percepção de múltiplas regiões. Nossos resultados destacam o potencial de modelos de linguagem multimodais por difusão para percepção visual paralela e eficiente. Até onde sabemos, somos os primeiros a alcançar descrição e percepção paralelas de regiões, aproveitando as vantagens de modelos de linguagem por difusão. Código, modelos e conjuntos de dados são disponibilizados.

A geração de apresentações personalizadas exige mais do que a simples condicionamento a um prompt ou modelo atual: os agentes devem preservar preferências estáveis do usuário em diferentes tarefas, reter novas preferências e restrições introduzidas durante revisões em múltiplas rodadas e realizar edições locais de forma confiável. Propomos o MemSlides, uma estrutura de memória hierárquica para agentes de apresentação personalizada que separa a memória de longo prazo da memória de trabalho e subdivide ainda a memória de longo prazo em memória de perfil do usuário e memória de ferramentas. A memória de perfil do usuário armazena perfis condicionados por intenção para personalização na rodada zero; a memória de trabalho carrega preferências ativas e restrições da sessão entre rodadas de revisão; e a memória de ferramentas armazena experiência de execução reutilizável para edição localizada confiável. O MemSlides combina esse design de memória com revisão localizada no escopo do slide, de modo que atualizações direcionadas atuam na menor região afetada, em vez de regenerar repetidamente o conjunto completo de slides. Em experimentos controlados, a memória de perfil do usuário melhora os julgamentos de alinhamento de persona em um banco de perfis multi-persona e multi-intenção; a injeção de memória de ferramentas melhora o comportamento de modificação em malha fechada em configurações diagnósticas de pares combinados; e casos qualitativos ilustram a capacidade da memória de trabalho de transferir preferências. Em conjunto, esses resultados sugerem que uma personalização eficaz na autoria de apresentações depende da separação entre perfis persistentes do usuário, memória de trabalho em nível de sessão e experiência de execução reutilizável durante a geração e a revisão localizada.

Benchmarks de memória para agentes LLM assumem em grande parte cenários de usuário único, deixando assistentes compartilhados para hospitais, locais de trabalho, campi e residências subestudados. Nessas implantações, múltiplos principais escrevem em um pool de memória comum e o consultam sob diferentes papéis, escopos e relacionamentos; portanto, a qualidade da memória exige tanto governança quanto recuperação. Apresentamos o GateMem, um benchmark para agentes de memória compartilhada multi-principal. O GateMem avalia conjuntamente a utilidade para solicitações legítimas de longo horizonte com atualizações de estado, controle de acesso através de limites de autorização contextuais e esquecimento ativo orientado ao agente após solicitações explícitas de exclusão. Ele abrange domínios médico, corporativo, educacional e residencial, com episódios longos de múltiplos participantes, injeção incremental de memória, pontos de verificação ocultos, julgamento estruturado e anotações de alvos de vazamento. Através de diversas linhas de base e modelos backbone, nenhum método alcança simultaneamente alta utilidade, controle de acesso robusto e esquecimento confiável. O prompting de contexto longo frequentemente produz a melhor pontuação de governança a um alto custo de tokens, enquanto métodos baseados em recuperação e memória externa reduzem o custo, mas ainda vazam informações não autorizadas ou excluídas. Esses resultados mostram que os agentes de memória atuais ainda estão longe de uma implantação institucional compartilhada confiável.

Embora o raciocínio sobre modelos autorregressivos (AR) seja frequentemente realizado por meio de raciocínio em cadeia de pensamento e reflexão, o refinamento de suas saídas anteriores ainda depende de geração totalmente sequencial, mesmo quando apenas edições locais são necessárias. Em contraste, o mecanismo de mascaramento em Modelos de Difusão com Máscara (MDMs) suporta naturalmente edições locais explícitas em saídas anteriores, permitindo refinamento seletivo sem descartar respostas anteriores e gerar outra do zero. Embora essa propriedade esteja mais alinhada com a forma como humanos corrigem erros por refinamento local iterativo, os MDMs existentes não suportam mascaramento e remoção de ruído em múltiplas iterações. Propomos o Mascaramento Reflexivo (RM), que extrai essa capacidade de raciocínio intrínseca dos MDMs por meio de pós-treinamento leve. O RM fornece um escalonamento nativo em tempo de teste, no qual um MDM revisita e revisa iterativamente suas saídas anteriores com base no contexto em evolução. Para explorar insights de iterações anteriores, como no raciocínio AR, introduzimos ainda a Referência de Histórico, um mecanismo livre de parâmetros que aproveita estados intermediários de remoção de ruído durante a revisão. Nossa abordagem não requer alterações arquiteturais e é facilmente aplicável a MDMs existentes. Em diversas tarefas e modalidades, incluindo geração de texto, Sudoku e edição de imagens, o Mascaramento Reflexivo supera consistentemente as abordagens baseadas em mascaramento padrão e demonstra forte generalidade, posicionando o RM como um primitivo fundamental para raciocínio em MDMs.

Sistemas de geração aumentada por recuperação (RAG) dependem criticamente de como os documentos são fragmentados e pesquisados. Fragmentos finos podem melhorar a precisão da recuperação, mas ampliam o espaço de busca, aumentando a latência e o custo; fragmentos maiores reduzem o número de candidatos, mas tornam a similaridade densa menos confiável, pois a representação de cada fragmento mistura múltiplos tópicos e introduz mais ruído semântico. Essa compensação torna-se especialmente limitante em tarefas de pesquisa profunda, onde a recuperação deve ser rápida e precisa em corpora grandes e heterogêneos. Apresentamos o MCompassRAG, uma estrutura de recuperação guiada por metadados que utiliza sinais de nível de tópico como uma bússola semântica para selecionar evidências relevantes. Em vez de depender apenas da similaridade de cosseno entre consultas e embeddings ruidosos de fragmentos, o MCompassRAG enriquece as representações dos fragmentos com metadados de tópico no mesmo espaço de embeddings e treina um recuperador leve por meio de destilação professor-aluno com LLM. Durante a inferência, o MCompassRAG realiza recuperação ciente de tópicos sem chamadas adicionais ao LLM, melhorando tanto a eficiência quanto a qualidade das evidências. Em seis benchmarks complexos de recuperação, o MCompassRAG melhora a eficiência da informação (IE) em 8,24% em média, com latência mais de 5 vezes menor do que as bases de RAG eficientes mais fortes. O código está disponível em https://github.com/AmirAbaskohi/MCompassRAG.

Os sistemas de geração aumentada por recuperação (RAG) precisam equilibrar a granularidade da recuperação com a coerência contextual, um desafio que os métodos existentes abordam por meio de fragmentação guiada por LLM, expansão de contexto em nível único ou sumarização hierárquica. Essas abordagens dependem, de diferentes formas, de chamadas custosas ao LLM durante a indexação ou recuperação, limitam a agregação de contexto a um único nível de granularidade ou introduzem perda de informações por meio da sumarização. Apresentamos o SproutRAG, uma estrutura hierárquica de RAG guiada por atenção que aborda essa troca ao organizar fragmentos em nível de sentença em unidades progressivamente maiores, mas semanticamente coerentes, usando a atenção aprendida entre sentenças para construir uma árvore binária de fragmentação. Diferentemente de abordagens anteriores que dependem de LLMs externos, expansão fixa de contexto ou sumarização com perda, o SproutRAG aprende quais cabeças e camadas de atenção melhor capturam a estrutura semântica do documento, permitindo recuperação em múltiplas granularidades sem chamadas adicionais ao LLM ou sumários comprimidos. No momento da recuperação, o SproutRAG usa busca em feixe hierárquica para recuperar candidatos em múltiplas granularidades, capturando relevância multissentença além da recuperação plana. A estrutura é treinada de ponta a ponta com um objetivo conjunto que melhora tanto os embeddings quanto a estrutura da árvore. Experimentos em três conjuntos de referência abrangendo domínios científicos, jurídicos e de código aberto demonstram que o SproutRAG melhora a eficiência da informação (EI) em 6,1% em média em relação ao modelo de base mais forte. O código está disponível em https://github.com/AmirAbaskohi/SproutRAG.

A ressonância magnética cerebral tridimensional (3D) é fundamental na neurologia clínica e na neuro-oncologia, onde modelos generativos podem aumentar coortes sub-representadas, simular trajetórias de doenças e apoiar o compartilhamento de dados com preservação de privacidade. A difusão latente tem sido a solução preferida para modelar dados de imagem, mas impõe duas demandas concorrentes ao tokenizador: as incorporações do codificador devem reter as informações clínicas sobre as quais as tarefas subsequentes atuam, e o decodificador deve reconstruir volumes anatomicamente fiéis. Os tokenizadores existentes baseados em reconstrução alcançam o segundo objetivo às custas do primeiro. Para resolver isso, introduzimos um tokenizador totalmente volumétrico baseado em autoencoder mascarado (MAE) para difusão latente de RM cerebral 3D, desacoplando codificador e decodificador: um codificador MAE 3D congelado produz incorporações clinicamente informativas, enquanto um decodificador CNN dedicado reconstrói voxels a partir de uma projeção linear dessas incorporações. Pré-treinamos o codificador em 35.309 volumes de 18 coortes públicas abrangendo quatro modalidades, dez categorias de doenças e mais de 200 locais de aquisição, e demonstramos sua utilidade dupla em dois cenários. Primeiro, em um benchmark de sondagem linear com 23 tarefas, o codificador supera ou iguala modelos de última geração (ou seja, BrainIAC, BrainSegFounder e MedicalNet) em 21 das 23 tarefas. Segundo, um transformador de difusão condicional (DiT) treinado nessas incorporações clinicamente informativas suporta tanto a geração condicional em seis variáveis quanto a previsão longitudinal específica do paciente. Juntos, esses resultados estabelecem um espaço de incorporação único de RM cerebral 3D capaz de realizar tanto tarefas clínicas downstream quanto geração controlável.

Sistemas generalistas de visão-linguagem-ação necessitam de evidências 3D centradas em objetos e experiência de manipulação reutilizável para planejar trajetórias robóticas confiáveis. O GeneralVLA fornece uma interface hierárquica para converter linguagem e observações RGB-D em trajetórias 3D do efetuador final, mas dois gargalos persistem. Primeiro, a reconstrução monocular de objetos no estilo SAM3D pode alucinar pose e geometria não observada, enquanto a manipulação se beneficia de uma forma estável do objeto quando observações calibradas multivista estão disponíveis. Segundo, o KnowledgeBank original recupera principalmente trechos semanticamente similares e anexa novo conhecimento, o que dificulta o controle da qualidade da memória, conflitos, confiança e relevância geométrica. Para abordar o primeiro desafio, introduzimos o GeoFuse-MV3D, um ramo de reconstrução MV-SAM3D guiado por priori geométrica que verifica pistas geométricas externas com máscaras da vista de entrada, aplica suporte suave de casca visual, realiza refinamento por eixo e funde apenas a geometria, preservando a aparência. Para abordar o segundo desafio, atualizamos o KnowledgeBank para um sistema de memória de longo prazo governado, com metadados explícitos de qualidade, confiança, ciclo de vida, verificador e conflito, juntamente com recuperação orientada à precisão. Finalmente, avaliamos o ramo de reconstrução no GSO-30 e o módulo de memória no Terminal-Bench 2.0 e SWE-Bench Verified; o GeoFuse-MV3D melhora em relação à linha de base MV-SAM3D ao reduzir CD e LPIPS em 2,20% e 2,02%, enquanto aumenta PSNR e SSIM em 2,36% e 1,03%, e o KnowledgeBank melhora em relação ao ReasoningBank em 4,53% no SR do Terminal-Bench e 3,73% na taxa de resolução do SWE-Bench, ao mesmo tempo que reduz AS em 4,95% e 5,65%, respectivamente. Código: https://github.com/AIGeeksGroup/GeneralVLA-2. Site: https://aigeeksgroup.github.io/GeneralVLA-2.

Para auxiliar humanos por períodos prolongados em lares reais, agentes incorporados precisam lembrar rotinas dos usuários, estados do mundo e interações passadas. Os benchmarks existentes de memória de longo prazo avaliam principalmente recuperação e resposta a perguntas centradas em linguagem, enquanto benchmarks incorporados frequentemente focam na execução de tarefas de curto horizonte sem testar o uso de memória de longo prazo em ambientes dinâmicos. Apresentamos WorldLines, um benchmark orientado a projetos para assistência doméstica incorporada de longo horizonte. Ele constrói trajetórias domésticas temporalmente estendidas com diálogos, ações, feedback de execução, mudanças de estado de objetos e dispositivos, e as converte em amostras vinculadas a evidências para QA de Memória e Planejamento de Tarefas Incorporadas. Propomos ainda ObsMem, uma estrutura de memória baseada em observador que mantém memórias cientes de visibilidade e trilhas de estado nativas de ação para decisões cientes de estado. Experimentos revelam desafios persistentes em observabilidade parcial, estados do mundo sobrescritos e tradução de memória de longo prazo em planos incorporados, enquanto ObsMem oferece uma arquitetura de referência mais robusta para esse cenário.

Avatares de cabeça 4D de alta qualidade a partir de um ou poucos retratos de origem são centrais para telepresença, AR/VR e interação humano-digital. O 3D Gaussian Splatting (3DGS) emergiu como a representação dominante, com dois regimes complementares (preditores feed-forward generalizáveis e refinadores por sujeito) amadurecendo em paralelo. No entanto, os preditores feed-forward existentes são treinados em uma única família de conjuntos de dados com um número fixo de fontes codificado, herdando o viés de domínio correspondente. Os refinadores por sujeito requerem 300.000 a 600.000 iterações e dependem de densificação adaptativa que destrói o layout gaussiano upstream, impedindo que os dois regimes compartilhem uma representação ponta a ponta. Para unir ambos os regimes, propomos o SpatialAvatar-0 sobre uma representação gaussiana compartilhada ligada à malha FLAME: um gerador feed-forward com um mean-pool de K fontes livre de parâmetros e um cronograma de duas fases, de monocular-temporal para multi-visual-espacial, que ancora contra o colapso do prior de identidade no conjunto multi-visual menor. Introduzimos também um laço de refinamento por sujeito de 10.000 iterações que preserva o layout, que congela a ligação ao FLAME e a contagem de gaussianas, substituindo a densificação por uma regularização anti-pico de três componentes. No domínio cruzado zero-shot VFHQ/HDTF, superamos o líder no domínio interno GAGAvatar em +1,5 dB PSNR, apesar de nunca termos treinado em nenhum dos domínios de teste; e no benchmark monocular SplattingAvatar, lideramos todas as métricas relatadas, superando o GeoAvatar de 300.000 iterações em +1,3 dB PSNR, com um cronograma por sujeito até 60x mais curto do que as linhas de base SOTA comuns. Site: https://spatialwalk.github.io/SpatialAvatar-0.

A composição narrativa dos corpora de pré-treinamento de LLM em escala web permanece amplamente inexplorada, embora a narrativa seja um modo fundamental de comunicação humana. Apresentamos o primeiro estudo detalhado das características narrativas em Dolma, um corpus de pré-treinamento aberto de 3 trilhões de tokens. Com base na teoria narrativa, projetamos uma estrutura abrangendo três elementos narrativos centrais (agência, cenário e eventos) operacionalizados em 11 dimensões interpretáveis. Após amostrar e anotar um conjunto diversificado de 400 passagens, refinamos e validamos o NarraBERT, um modelo baseado em RoBERTa para predição narrativa de granularidade fina. Aplicamos o NarraBERT a 3 milhões de passagens, resultando em um novo conjunto de dados, NarraDolma. Descobrimos que (i) a estrutura narrativa é mensurável em escala em dados extremamente heterogêneos, (ii) revelamos uma estrutura narrativa contínua e multidimensional subjacente ao texto da web e (iii) as qualidades narrativas são distribuídas de forma desigual entre fontes e tópicos de pré-treinamento, de maneiras que as práticas atuais de curadoria não medem nem levam em consideração. Nossa estrutura, conjunto de dados e análises fornecem uma base para compreender como as qualidades narrativas estão distribuídas nos dados de pré-treinamento de LLM e para estudar como a composição dos dados afeta tarefas de raciocínio narrativo. Disponibilizamos publicamente o NarraDolma e o NarraBERT.

Modelos de linguagem multimodal de grande escala (MLLMs) estão cada vez mais sendo implementados em contextos de impacto pessoal e social, mas os sinais visuais que moldam como esses modelos julgam pessoas ainda são pouco compreendidos. Trabalhos anteriores frequentemente comparam diferentes (grupos de) indivíduos, dificultando a separação entre efeitos de aparência e diferenças de identidade. Apresentamos o StylisticBias, um referencial controlado para avaliar viés social no nível de atributo em MLLMs. Geramos 500 rostos base fotorrealistas e criamos cerca de 50 variações de atributo único por rosto, totalizando aproximadamente 25 mil imagens. Esse design mantém a identidade fixa e altera um atributo visual por vez. Ele permite medir como sinais específicos deslocam os julgamentos do modelo. Avaliamos seis MLLMs em 25 cenários binários de julgamento social. Constatamos que idade e tipo corporal dominam os efeitos no nível de identidade, enquanto estilo de moda e outros sinais visuais provocam os maiores deslocamentos no nível de atributo. Descobrimos ainda que cerca de 15 atributos respondem por quase 80% da variação total, mostrando que o viés se concentra em um conjunto restrito de sinais visuais. A sensibilidade é mais forte em julgamentos semanticamente alinhados com a aparência, especialmente julgamentos socioeconômicos e relacionados ao estilo. Disponibilizamos o StylisticBias como um referencial para avaliação refinada de viés em modelos multimodais. Código e conjunto de dados: https://github.com/timo-cavelius/StylisticBias e https://hf.co/datasets/shaghayegh/stylistic-bias-dataset.

O aprendizado em contexto (ICL) é o método padrão para classificação com poucos recursos, porém sua eficácia em domínios especializados permanece amplamente inexplorada. Abordamos o desafio de classificar conversas B2B com múltiplos participantes e complexidade semântica, onde o ICL tradicional enfrenta limitações significativas, especialmente à medida que o comprimento do contexto aumenta devido à concatenação de múltiplos exemplos de poucas amostras. Introduzimos o conjunto de dados Call Playbook, com cinco tarefas de classificação derivadas de conversas B2B reais focadas em conceitos essenciais de vendas. Para preencher a lacuna entre desempenho e utilidade prática, propomos métodos inovadores de extração de conhecimento que destilam exemplos prolixos em representações compactas e interpretáveis de critérios de classificação estruturados e descrições precisas de tarefas. Nossa abordagem alcança uma redução de 99% no uso de tokens e melhora a AUC macro-média em até 7% em relação ao ICL tradicional. Notavelmente, ela se mantém robusta à medida que o contexto aumenta, ao contrário das linhas de base avançadas de compressão de tokens, que degradam em mais de 9 pontos F1. De forma importante, nossa estrutura permite o refinamento direto da lógica de classificação, atendendo a necessidades críticas de transparência, eficiência e interação com o usuário em aplicações reais de PLN.

Dados tabulares médicos são ubíquos na pesquisa clínica, mas o aprendizado profundo para tabelas ainda é pouco explorado, pois rótulos confiáveis frequentemente exigem avaliação especializada custosa, embora variáveis clínicas estruturadas estejam rotineiramente disponíveis em formato tabular. O aprendizado auto-supervisionado pode aproveitar essas tabelas não rotuladas, e pretextos recentes baseados em discretização oferecem um viés indutivo promissor, porém os objetivos existentes fixam uma única discretização global por quantis e aplicam supervisão independente das características. Propomos o Adaptive Binning, um pretexto de discretização adaptável ao treinamento para SSL tabular que acopla a discretização ao aprendizado por meio de um currículo do geral para o específico por característica. Motivado pelo viés espectral das redes neurais e pelos princípios do aprendizado curricular, nosso método refina progressivamente a discretização por característica ao detectar platôs e seleciona divisões conscientes da representação para melhorar conjuntamente a concentração no espaço de valores e a coerência no espaço de representações. Um objetivo ciente da heterogeneidade unifica a reconstrução categórica com supervisão ordinal para características numéricas, e experimentos em conjuntos de dados tabulares médicos públicos sob protocolos de avaliação unificados mostram ganhos consistentes para sondagem linear e ajuste fino, sem ajuste específico da discretização por conjunto de dados. Introduzimos também um benchmark de SSL tabular médico com protocolos padronizados para apoiar o progresso reproduzível nesse domínio pouco explorado. Nosso código está disponível em https://github.com/labhai/Adaptive-Binning.