Artigos de pesquisa em IA selecionados diariamente com traduções
Aprendizado por reforço com recompensas verificáveis (RLVR) é uma abordagem poderosa para melhorar o raciocínio de modelos de linguagem, mas é caro repeti-la em cada novo modelo forte, pois o modelo alvo deve gerar muitos rollouts durante o treinamento. À medida que os modelos escalam, o pós-treinamento em si se torna um gargalo. Estudamos uma alternativa fraca-para-forte: executar RL em um modelo menor, onde os rollouts são mais baratos, e então reutilizar o que essa execução de RL aprendeu para melhorar um modelo alvo mais forte. Destilar diretamente o professor fraco pós-RL não é suficiente, porque a política final do professor mistura ganhos úteis de RL com as limitações do modelo menor. Propomos a Destilação On-Policy Direta (Direct-OPD), que transfere a mudança de política induzida por RL do professor. O Direct-OPD compara o professor pós-RL com sua própria referência pré-RL e trata a razão logarítmica deles como uma recompensa implícita densa para o estudante. Em termos simples, o par de checkpoints nos informa quais ações o RL tornou mais ou menos prováveis no modelo fraco, e o Direct-OPD aplica esse sinal nos estados on-policy do próprio estudante mais forte. Isso reutiliza diretamente o sinal de supervisão de RL do modelo fraco sem executar RL com recompensas esparsas no modelo alvo. Empiricamente, o Direct-OPD aproveita consistentemente professores mais fracos para melhorar modelos alvo mais fortes; notavelmente, ele eleva o Qwen3-1.7B de 48,3% para 58,3% no AIME 2024 em apenas 4 horas em 8 GPUs A100. Ele supera a RL direta com correspondência de passos e permite a composição sequencial de múltiplas mudanças de política. Nossos resultados mostram que os resultados de RL podem ser reutilizados entre escalas de modelo como sinais de recompensa implícitos, não apenas como modelos finais a serem imitados.
Modelos fundamentais de Navegação por Linguagem Visual visam unificar o raciocínio profundo para decisões espaciais fundamentadas com ampla versatilidade para diversas tarefas incorporadas. Abordagens atuais geralmente alcançam essa integração por meio de políticas monolíticas que mapeiam observações diretamente para ações; no entanto, frequentemente sofrem de desvio de coordenadas e tratamento inadequado de semânticas de cauda longa. Além disso, esses mapeamentos de caixa-preta carecem de interpretabilidade, dificultando a obtenção simultânea de generalidade, robustez e transparência. Apresentamos o ABot-N1, um passo em direção a um modelo fundamental geral de Navegação Visual-Linguística, que aborda esses desafios ao desacoplar cognição de controle por meio de uma arquitetura lento-rápido guiada por sinais duais de visão-linguagem. Mais especificamente, um raciocinador lento de visão-linguagem realiza raciocínio explícito em Cadeia de Pensamento enquanto produz um objetivo de pixel. Esse conjunto compacto de pontos de ancoragem no espaço da imagem serve como uma interface universal para diversas tarefas, incluindo objetivo de ponto, objetivo de objeto, objetivo de POI, seguimento de instruções e seguimento de pessoa. Posteriormente, um especialista rápido em ações aproveita tanto as pistas textuais quanto a orientação de pixel para gerar waypoints contínuos na frequência de controle nativa. Ao conectar intenções de alto nível e controle de baixo nível por meio de âncoras fundamentadas em pixel pareadas com traços linguísticos explícitos, nossa abordagem garante navegação robusta, generalizável e interpretável em benchmarks de simulação e mundo real. O ABot-N1 estabelece novos recordes de estado-da-arte, proporcionando ganhos massivos especificamente em navegação em escala urbana: aumentando a chegada a POIs em 35,0% (para 77,3%) e alcançando 95,4%/92,9% de SR em cenas internas e externas complexas. Ele também mantém robustez superior em tarefas de alcance de objetos, seguimento de pessoa e seguimento de instruções. Novos benchmarks de Point-Goal/POI-Goal são disponibilizados como código aberto para avançar o campo da navegação em escala urbana.
Sistemas recentes de VLM e VLA melhoraram a percepção robótica e a previsão de ações, no entanto, agentes incorporados de longo horizonte ainda necessitam de uma camada de tempo de execução geral para raciocínio, memória, uso de ferramentas, verificação e execução entre diferentes corpos. Apresentamos o ABot-AgentOS, um Sistema Operacional de Agente robótico geral que se situa acima de controladores de baixo nível e fornece uma camada de agente deliberativa para planejamento condicionado à cena, execução de habilidades com contexto isolado, verificação em múltiplos estágios, memória multimodal e colaboração borda-nuvem. Para avaliar tais sistemas, introduzimos o EmbodiedWorldBench, um benchmark executável com 16 cenas internas, externas e híbridas, quatro níveis de dificuldade e mais de 200 tarefas envolvendo navegação, busca de objetos, diálogo com NPCs, eventos dinâmicos e pontuação fundamentada em rastros. O ABot-AgentOS também introduz a Memória Gráfica Multimodal Universal, um substrato persistente fundamentado em fonte que converte diálogo, observações visuais, contexto espacial, relações temporais e rastros de tarefas em nós e arestas tipadas. Um ciclo de autoevolução orientado por falhas converte falhas de memória diagnosticadas em ativos de evolução em tempo de execução com portões, que são promovidos apenas para divisões de avaliação posteriores, evitando vazamento de ground truth na divisão atual enquanto possibilita melhoria contínua. Em um subconjunto inicial do EmbodiedWorldBench, o ABot-AgentOS melhora uma linha de base de controlador único tanto no sucesso de tarefas quanto na conclusão de objetivos. Em benchmarks de memória, o ABot-AgentOS Static atinge 87,5 no LoCoMo, 59,9 no OpenEQA EM-EQA, 88,6 no Mem-Gallery e 76,5 Acc@All no NExT-QA; a autoevolução melhora ainda mais o LoCoMo para 88,7, o OpenEQA para 60,4 e o Mem-Gallery para 89,0. Esses resultados sugerem que uma camada geral de Sistema Operacional de Agente pode melhorar a execução incorporada de longo horizonte enquanto fornece memória persistente e auditável para interação contínua.
A captura volumétrica existente de desempenho humano dinâmico alcança alta fidelidade com arranjos densos de câmeras. No entanto, em cenários do mundo real, apenas um punhado de câmeras com baixa sobreposição está disponível, o que degrada a qualidade da saída e deixa grandes áreas não observadas. Métodos recentes de reconstrução 4D têm se concentrado em configurações de baixa sobreposição, mas ainda produzem artefatos perceptíveis em regiões subobservadas. Modelos de difusão de vídeo surgiram como outra opção, mas apresentam resultados geometricamente inconsistentes para humanos. Para superar essas limitações, propomos o StudioRecon, um fluxo de trabalho que reconstrói cenas humanas 4D a partir de câmeras esparsas e com baixa sobreposição, separando o fundo e os humanos. Densificamos a supervisão do fundo sintetizando centenas de novas vistas controladas por câmera com um modelo de difusão de vídeo. Também inicializamos de forma robusta humanos gaussianos deformáveis com associação de identidade entre vistas e ajuste de pontos-chave triangulados multivista. Por fim, nosso módulo de aprimoramento recursivo com injeção de consistência adaptativa ao movimento harmoniza a saída composta, evitando assim artefatos remanescentes. Alcançamos síntese de novas vistas de ponta em quatro conjuntos de dados do mundo real e demonstramos aplicações como renderização de trajetórias inéditas e substituição de humanos.
Assistentes pessoais de IA em dispositivos móveis e vestíveis percebem continuamente a vida cotidiana dos usuários por meio de fluxos visuais e de áudio. No entanto, responder a perguntas sobre experiências passadas exige uma memória multimodal leve que possa acumular, organizar e recuperar continuamente experiências de longo prazo, o que ainda é desafiador. Para enfrentar esse desafio, apresentamos o LightMem-Ego, um sistema leve de memória multimodal em fluxo contínuo para assistência à vida cotidiana. O sistema captura continuamente fluxos visuais e de áudio egocêntricos, alinha-os em uma linha do tempo compartilhada e os organiza em uma memória hierárquica composta por memória atual, de curto prazo e de longo prazo. Dada uma consulta do usuário, o LightMem-Ego roteia dinamicamente a recuperação para o nível de memória apropriado e gera respostas fundamentadas em evidências multimodais. A demonstração pode ser implantada em smartphones e óculos de IA, apoiando localização de objetos, recuperação de conversas, sumarização da vida, descoberta de rotinas e assistência personalizada. O código está disponível em https://github.com/zjunlp/LightMem-Ego.
Modelos de linguagem de grande escala (LLMs) apresentaram desempenho notável em matemática de nível médio e estilo olímpico, mas suas capacidades em matemática avançada permanecem pouco compreendidas. No entanto, os benchmarks existentes são insuficientes tanto em escopo quanto em granularidade de avaliação: oferecem cobertura disciplinar limitada e frequentemente se baseiam na correção da resposta final ou em julgamentos grosseiros, deixando a validade do processo de raciocínio inadequadamente avaliada. Para preencher essa lacuna, apresentamos o AdvancedMathBench, um conjunto de benchmarks projetado para avaliar capacidades de raciocínio matemático avançado. Seu benchmark central de geração de provas, o ProverBench, contém 296 problemas abrangendo níveis de graduação e de exame de qualificação de doutorado. Para fornecer uma avaliação confiável das provas, desenvolvemos um pipeline de verificação automática dedicado, treinado em anotações de especialistas em larga escala, que produz tanto vereditos de correção quanto avaliações detalhadas de erros nas provas, exibindo forte concordância com especialistas humanos em trajetórias de prova não vistas. Apresentamos ainda o VerifierBench, composto por 888 trajetórias de prova geradas por modelos, emparelhadas com dados de referência de especialistas, para avaliar se os modelos podem julgar corretamente a validade das provas e fornecer justificativas de verificação sólidas. Experimentos mostram que o AdvancedMathBench permanece desafiador para modelos de fronteira. Na geração de provas, o modelo de melhor desempenho, GPT-5.5-xhigh, atinge apenas 75,8 e 66,1 nas divisões UGD e QE, respectivamente, indicando margem substancial para melhoria na construção de provas matemáticas avançadas. Na verificação de provas, o melhor modelo atinge um F1 balanceado de apenas 65,1, e os modelos geralmente apresentam baixas taxas de verdadeiros negativos, sugerindo que a detecção de erros críticos continua sendo um gargalo importante.
A metacognição é um componente fundamental da inteligência, essencial para a aprendizagem eficaz, resolução de problemas, tomada de decisões, comunicação e muito mais. Nos últimos anos, ela tem sido cada vez mais reconhecida como um pilar para sistemas de IA capazes e transparentes. No entanto, embora os LLMs tenham avançado significativamente em diversas tarefas do mundo real, ainda não está claro quando, como ou em que medida eles podem exibir ou ser dotados de habilidades metacognitivas eficazes, nem como tais habilidades podem ser adaptadas para avançar as capacidades fundamentais, a confiabilidade e a inteligência dos sistemas de IA. Este artigo preenche essa lacuna ao apresentar a primeira visão geral abrangente do estado atual do conhecimento sobre metacognição para LLMs. Analisamos e taxonomizamos o panorama desse campo emergente e resumimos os avanços técnicos recentes, incluindo métodos e referências (benchmarks) para medir e avaliar as habilidades metacognitivas dos LLMs, técnicas para elicitar, melhorar e aplicar a metacognição em LLMs, além de descobertas e implicações de pesquisas em andamento. Também discutimos aplicações, questões em aberto e desafios, bem como direções promissoras para trabalhos futuros. Nosso objetivo é fornecer uma revisão detalhada e atualizada deste tópico e estimular pesquisas e discussões significativas. Uma lista organizada de artigos pode ser encontrada em https://github.com/yale-nlp/LLM-Metacognition.
Controlabilidade é uma capacidade definidora de políticas de robôs generalistas, mas permanece amplamente ausente em sistemas de mãos hábeis por falta de dados de demonstração em larga escala, alinhados linguisticamente e precisos em termos de ação. Para abordar esse gargalo, apresentamos um sistema completo que escala o pré-treinamento de VLA hábil a partir de vídeos humanos egocêntricos e permite um pós-treinamento eficiente em dados em robôs reais. Ele integra o EgoSmith, um pipeline de dados que transforma vídeos egocêntricos da vida real em 9,6 mil horas de dados de pré-treinamento de alta qualidade, com 9x mais rendimento e melhor precisão que o SOTA anterior; uma pilha robótica unificada para teleoperação e correção humana no loop; e o EgoSteer, um VLA aprimorado por modelo de mundo treinado em infraestrutura otimizada. O pré-treinamento com dados humanos equipa o EgoSteer com prioridades de manipulação guiadas por linguagem, que são fundamentadas através do pós-treinamento robótico e melhoradas pelo refinamento DAgger. Empiricamente, o EgoSteer executa de forma robusta instruções livres em mais de 40 tarefas diversas, demonstrando recuperação de falhas, destreza e generalização. O modelo pré-treinado também se adapta com poucos exemplos a tarefas complexas de longo horizonte, incluindo dobradura de caixas, em duas plataformas robóticas com mais de 75% de sucesso. Disponibilizamos o sistema, dados e modelo como código aberto em https://egosteer.github.io/.
O pós-treinamento é essencial para refinar as capacidades específicas de domínio de modelos de linguagem de grande porte (LLMs), no entanto, os métodos existentes de otimização de recompensa e correspondência de distribuição acoplam firmemente a exploração de políticas ao alinhamento de distribuição. Esse acoplamento força uma exploração dispendiosa diretamente no modelo de política e dificulta severamente a geração assíncrona, a reutilização e a transferência entre modelos de sinais de otimização. Neste artigo, propomos o Proxy-guided Update Signal Transfer (PUST), um novo framework de pós-treinamento que desacopla fundamentalmente a exploração de sinais de atualização do alinhamento de distribuição. Em vez de utilizar o modelo principal para exploração custosa, o PUST emprega um modelo proxy leve como um ambiente de teste eficiente para descobrir comportamentos de alta recompensa. Extraímos o sinal de melhoria relativa entre os estados inicial e otimizado do proxy, transferindo essa atualização direcional para o modelo principal para guiar seu alinhamento de política. Esse pipeline desacoplado, composto por exploração do proxy, extração do sinal de atualização e transferência do sinal, reduz significativamente a sobrecarga computacional e permite que sinais de otimização sejam gerados, armazenados em cache e reutilizados de forma assíncrona. De forma crucial, ao transferir melhorias relativas em vez de distribuições de política absolutas, o PUST suporta naturalmente a melhoria do fraco para o forte e a transferência contínua entre modelos. Avaliações sistemáticas em modelos da família Qwen3 nos domínios de matemática e código demonstram que sinais de atualização extraídos de proxies substancialmente mais fracos podem melhorar de forma robusta e ajustável modelos principais mais fortes. Por fim, o PUST transforma o pós-treinamento de um processo de otimização online monolítico em um paradigma altamente modular, reutilizável e econômico.
A exploração é essencial para a autonomia confiável em sistemas multiagente, mas ainda não está claro se agentes baseados em grandes modelos de linguagem (LLMs) conseguem explorar de forma eficaz ao interagir entre si. Mostramos que agentes LLM modernos falham nessa tarefa, frequentemente exibindo padrões de interação míopes e polarizados que levam a coordenação subótima e aumento do arrependimento. Formalizamos esse desafio como o problema de Exploração Multiagente, modelando-o como um problema de jogo estocástico parcialmente observável (POSG), no qual os agentes devem sondar seus pares para inferir suas capacidades e identificar estratégias de interação eficazes. Para lidar com isso, apresentamos o MACE (Multi-Agent Contextual Exploration), uma estrutura leve que promove explicitamente a exploração por meio da seleção estruturada de pares. Tanto em configurações de diversidade contextual quanto paramétrica, o MACE melhora substancialmente o comportamento exploratório e o desempenho em tarefas subsequentes. Além disso, mostramos teoricamente que o valor da exploração aumenta com a diversidade dos agentes. De modo geral, nossos resultados destacam uma limitação fundamental dos agentes LLM atuais e reforçam a importância da exploração explicitamente guiada para a autonomia confiável em sistemas multiagente. O código será disponibilizado em https://github.com/deeplearning-wisc/mace.
Compreender como funções cognitivas complexas são organizadas em sistemas artificiais é central para interpretar modelos de linguagem de grande escala (LLMs) e relacioná-los à cognição biológica. No entanto, embora os LLMs exibam comportamentos amplamente cognitivos, ainda não está claro se suas representações internas formam sistemas funcionais reproduzíveis que expliquem comportamento, falhas e vínculos com a cognição humana. Neste artigo, apresentamos o NeuroCogMap, uma estrutura inspirada na neurociência cognitiva que organiza características internas de LLMs em parcelas funcionais e as vincula a funções interpretáveis, capacidades cognitivas e uma hierarquia cognitiva. Essas parcelas formam uma organização estável e semanticamente coerente, que é parcialmente conservada entre modelos e funcionalmente ligada às saídas do modelo. Dentro dessa organização, falhas importantes dos LLMs, incluindo alucinação, viés, falha de recusa e sicofancia, correspondem a perturbações distintas nos sistemas de representação e controle comportamental, gerando assinaturas internas para detecção guiada por mecanismos e intervenção direcionada. Além do comportamento do modelo, o NeuroCogMap melhora a previsão de respostas corticais humanas durante a compreensão naturalística da linguagem, com a correspondência mais forte no córtex de associação de ordem superior. No nível cognitivo, suas assinaturas internas expõem estratégias latentes que orientam refinamentos de modelos clássicos de tomada de decisão humana. Em conjunto, esses achados estabelecem o NeuroCogMap como uma estrutura em nível de sistema para mapear a organização funcional em sistemas artificiais e para relacionar essa organização à função cortical e ao comportamento cognitivo humano.
Modelos de linguagem estão cada vez mais sendo utilizados para tomada de decisão moral em contextos linguísticos e culturais diversos, mas os trabalhos existentes negligenciam a multilinguidade em três aspectos: 1) benchmarks de avaliação multilíngues utilizam tradução direta, sem adaptar itens específicos de uma cultura; 2) métodos de inferência para raciocínio moral dependem de arcabouços estáticos e centrados no inglês, carecendo de fundamentação em teoria moral; 3) métodos de treinamento para tomada de decisão moral tipicamente exigem supervisão cara de modelos mais fortes ou anotadores humanos. Abordamos essas lacunas com três contribuições. Primeiro, apresentamos MCLASH, um benchmark multilíngue de tomada de decisão moral que captura intuições morais e normas sociais situadas culturalmente em diferentes idiomas. Segundo, propomos MET (Ética Multilíngue com Raciocínio Baseado em Teoria), um método de prompting em duas etapas construído sobre fundamentos teóricos selecionados por especialistas, oriundos da psicologia e da filosofia: o modelo primeiro seleciona fundamentos situacionais e culturais, depois raciocina sobre eles no idioma nativo do usuário. Terceiro, introduzimos MET-D (Destilação MET), que aprimora a segunda etapa por meio de um estágio de treinamento por autodestilação que não requer supervisão externa. MET-D melhora o macro-F1 em relação ao modelo base em todos os três modelos de diferentes tamanhos e famílias (Qwen3-4B, Qwen3-8B, Gemma3-4B), com média de 3,71 pontos no MCLASH e 4,23 no MMoralExceptQA, e ganho máximo de 12,94 pontos no MCLASH para o malaio no Qwen3-8B. Revelamos ainda que MET-D aumenta o raciocínio em língua nativa em média 62,13 pontos, e que fundamentos benéficos diferem sistematicamente entre culturas. Em conjunto, essas contribuições abrem caminho para um raciocínio moral multilíngue alinhado à cultura e fundamentado em teoria.
A prova virtual (VTO) obteve progressos significativos na transferência realista de peças de vestuário para uma pessoa-alvo. No entanto, a maioria dos sistemas oferece ao utilizador pouco controlo sobre a forma como uma peça deve ser vestida – o seu tamanho (folgado ou justo), estilo (por exemplo, enfiado ou solto, aberto ou fechado) e posicionamento espacial no corpo. Abordamos esta lacuna com duas contribuições complementares. Primeiro, definimos e resolvemos a Segmentação por Prompt de Instância Visual via VIP-SAM: dada uma imagem flatlay de uma peça de vestuário, segmentar essa instância específica numa fotografia de uma pessoa a vesti-la. Esta é uma tarefa ao nível da instância, distinta da segmentação ao nível da categoria habitualmente estudada. Segundo, introduzimos o CtrlVTON, uma estrutura VTO controlável que reformula a prova virtual como um problema de edição de imagem e adiciona máscaras de segmentação como controlo ao nível do pixel sobre a disposição da peça, incluindo estilo, tamanho e posicionamento espacial no corpo. O VIP-SAM e o CtrlVTON alcançam, cada um, resultados de estado da arte nas respetivas tarefas. Em particular, o CtrlVTON gera imagens que seguem as disposições fornecidas pelo utilizador de forma muito mais fiel do que os sistemas de edição proprietários mais robustos, igualando-os em termos de fidelidade da peça.
Modelos recentes de geração de imagem e vídeo de base oferecem forte generalização e controlabilidade, mas sua aplicação direta em cenários incorporados é limitada por requisitos de consistência multi-visão, coerência geométrica e restrições de incorporação robótica. Métodos existentes tipicamente adaptam modelos de base com dados robóticos limitados, muitas vezes sacrificando o conhecimento visual adquirido durante o pré-treinamento em larga escala. Apresentamos o Xiaomi-Robotics-U0, um modelo autorregressivo multimodal de 38 bilhões de parâmetros para síntese incorporada unificada. Ele trata a geração incorporada como uma extensão da geração de imagem e vídeo de base e otimiza conjuntamente a geração de texto para imagem, edição de imagem, geração de cena incorporada, transferência incorporada e geração de vídeo incorporada. Esta estrutura unificada preserva a generalização do modelo de fundação mundial pré-treinado enquanto o adapta a contextos incorporados. O Xiaomi-Robotics-U0 é o primeiro modelo a suportar geração de cena multi-visão de alta qualidade em múltiplas incorporações robóticas e a introduzir transferência incorporada estruturada e controlável para edição refinada, preservando ao mesmo tempo a consistência multi-visão e a dinâmica de interação. Ele alcança resultados de estado da arte em tarefas de geração de etapa única e sequencial, superando o GPT-Image-2.0 em avaliações humanas de geração e transferência de cena incorporada, classificando-se em primeiro lugar no World Arena para geração de vídeo incorporada e melhorando a taxa de sucesso fora da distribuição do pi_0.5 de 36,9% para 63,2% em tarefas desafiadoras de manipulação no mundo real. Esses resultados mostram que modelos de fundação mundial podem servir tanto como modelos de mundo incorporados quanto como motores de dados escaláveis para inteligência incorporada. O código e os pontos de verificação estão disponíveis em https://robotics.xiaomi.com/xiaomi-robotics-u0.html.
Gerar e editar o rosto de uma pessoa exige alta precisão, pois mesmo modificações menores podem alterar significativamente a identidade percebida de um sujeito. No entanto, os métodos atuais de personalização e edição baseados em modelos de texto para imagem de propósito geral frequentemente carecem da precisão necessária para edições faciais detalhadas. Apresentamos um método para ajuste fino de identidade em modelos de personalização de texto para imagem. Diferentemente da edição de imagem padrão, que opera sobre uma imagem fornecida, o ajuste de identidade modifica a representação latente de uma identidade específica, permitindo a geração de diversas imagens que retratam consistentemente a mesma identidade editada. Para permitir o ajuste fino da identidade latente, exploramos o espaço latente de um codificador pré-treinado e congelado para personalização de texto para imagem. Nossa abordagem não requer treinamento adicional. Em vez disso, ela aproveita a arquitetura existente de um codificador congelado para revelar direções semânticas latentes. Esse espaço consiste em um conjunto de tokens latentes que desempenham papéis distintos na captura de diferentes aspectos de uma identidade e frequentemente correspondem a regiões faciais espaciais ou semânticas específicas. Mostramos que direções significativas podem ser identificadas dentro desse espaço e dentro de subespaços definidos por tokens selecionados, possibilitando edições localizadas, detalhadas e semanticamente coerentes. Validamos nossa abordagem por meio de experimentos qualitativos e quantitativos que demonstram diversas edições faciais localizadas, preservando a consistência da identidade entre imagens. Página do projeto em: https://garibida.github.io/IdentityTuning/
Este trabalho explora a transferência de movimento de um vídeo para outro, crucial na animação para personagens diversos. Anteriormente, a transferência de movimento em vídeo foi amplamente explorada entre personagens humanos e humanoides, possibilitando muitas aplicações na criação digital. No entanto, essas abordagens encontram uma limitação principal. Especificamente, os pipelines técnicos relacionados dependem fortemente de uma estrutura de esqueleto humano predefinida e, consequentemente, exigem treinamento de modelo condicionado ao esqueleto. Por um lado, esses métodos são difíceis de generalizar para personagens diversos, como animais de diferentes espécies, preservando seus estilos de movimento únicos. Por outro lado, os dados rotulados em esqueletos diversos são limitados, o que adicionalmente restringe o treinamento em larga escala para a tarefa. Neste artigo, saímos do framework de transferência de movimento baseado em esqueleto e propomos um framework de transferência de movimento sem treinamento, chamado Motion4Motion. O Motion4Motion modela o fluxo de movimento do personagem em um vídeo em vez de esqueletos, o que facilita a transferência de movimento entre espécies. Resultados experimentais extensivos e aplicações inovadoras mostram que nossos métodos superam as linhas de base de forma impressionante. A página do projeto está disponível em https://lhchen.top/Motion4Motion.
O alinhamento de fluxo sobre representações latentes cuidadosamente projetadas emergiu recentemente como um paradigma poderoso para a geração de malhas consciente da topologia. Abordagens existentes, no entanto, modelam vértices e conectividade conjuntamente em um espaço latente conjunto, entrelaçando a geometria contínua dos vértices com a estrutura combinatória discreta; isso complica o aprendizado do fluxo e se manifesta como vértices dispersos e superfícies quebradas. Apresentamos o LATO.2, uma estrutura de alinhamento de fluxo fatorado que decompõe a geração de malhas em um fluxo de vértices seguido por um fluxo de conectividade condicionado aos vértices realizados, com ambos os estágios ancorados em um andaime de voxels grosseiro compartilhado. VAEs dedicados sustentam os dois estágios, recuperando vértices com precisão sub-voxel e incorporando a conectividade discreta em um espaço latente contínuo. Demonstramos duas vantagens exclusivas dessa fatoração: (i) geração por partes, na qual o andaime é particionado e cada parte é sintetizada com capacidade latente total, resultando em malhas de resolução substancialmente maior do que um espaço latente monolítico permite; e (ii) edição adaptativa à topologia, na qual a manipulação dos vértices do primeiro estágio induz a conectividade correspondente sem reotimização. Experimentos mostram que o LATO.2 supera os geradores de malha conscientes da topologia do estado da arte em fidelidade geométrica e qualidade da conectividade.
Por que a aprendizagem contrastiva com imagens simples e aumentos produz representações úteis para tarefas downstream? Abordamos esta questão computando analiticamente a representação ótima em termos de uma perda contrastiva para uma variedade de aumentos básicos e qualquer conjunto de dados de imagens com estatísticas estacionárias. Mostramos que, para certos aumentos, o ótimo pode ser alcançado por uma CNN cuja primeira camada de filtros consiste em senoides, seguidas por uma não linearidade pontual, pooling médio global e uma camada linear final que realiza branqueamento parcial. Também mostramos que os pesos ótimos em tais CNNs para aumentos mais complexos ainda são senoides. As frequências das senoides e seus pesos podem ser computadas usando um algoritmo simples de preenchimento de água, dado o espectro de potência esperado do conjunto de dados. Experimentos com diferentes conjuntos de dados de imagens e aumentos mostram que tais CNNs treinadas com SGD aprendem empiricamente senoides em sua primeira camada e a realizar branqueamento parcial.
Os atuais Modelos de Linguagem de Grande Escala para Vídeo (Video LLMs) destacam-se em resposta a perguntas (QA), mas operam em grande parte como caixas pretas, fornecendo respostas textuais sem fundamentação visual verificável. Esforços existentes de explicabilidade dependem de justificativas textuais ou caixas delimitadoras esparsas, que têm dificuldade em capturar dinâmicas complexas de vídeo, como oclusões e deformações não rígidas. Propomos o Evidence-Backed Video Question Answering (E-VQA), uma nova tarefa que exige que os modelos gerem conjuntamente uma resposta semântica e evidências espaço-temporais precisas: segmentos temporais e máscaras de segmentação de objetos densas e rastreadas (masklets). Para apoiar isso, introduzimos o ST-Evidence, o primeiro benchmark verificado por humanos para fundamentação discriminativa e generativa em nível de pixel. Avaliações de modelos de última geração revelam uma dissociação crítica entre a precisão do QA e a verdadeira percepção visual, que a escala por si só não consegue superar. Para resolver isso, desenvolvemos pipelines de geração automatizados e escaláveis para criar o ST-Evidence-Instruct, um conjunto de dados de 160 mil amostras que une raciocínio de alto nível com fundamentação refinada. O ajuste fino de Video LLMs fundamentados nesses dados produz ganhos substanciais em relação às linhas de base UniPixel de tamanho correspondente (por exemplo, +27,2 t-mean e +13,8 J&F em um modelo de 7B), estabelecendo uma linha de base robusta para compreensão de vídeo explicável e baseada em evidências. Código e dados estão disponíveis em https://github.com/SalesforceAIResearch/EVQA.