Artigos de pesquisa em IA selecionados diariamente com traduções
Os avanços recentes demonstraram que os modelos de difusão de vídeo (VDMs) podem ser adaptados para diversas tarefas de gráficos multimodais. No entanto, os métodos existentes frequentemente treinam modelos separados para cada configuração de problema, o que fixa o mapeamento entrada-saída e limita a modelagem de correlações entre modalidades. Apresentamos o UniVidX, uma estrutura multimodal unificada que aproveita os priors de VDM para geração versátil de vídeo. O UniVidX formula tarefas alinhadas a pixels como geração condicional em um espaço multimodal compartilhado, adapta-se a distribuições específicas por modalidade preservando os priors nativos da estrutura base, e promove consistência cross-modal durante a síntese. Ele é construído sobre três projetos-chave. O Mascaramento Condicional Estocástico (SCM) particiona aleatoriamente as modalidades em condições limpas e alvos ruidosos durante o treinamento, permitindo geração condicional omnidirecional em vez de mapeamentos fixos. O LoRA com Porta Desacoplada (DGL) introduz LoRAs por modalidade que são ativados quando uma modalidade serve como alvo de geração, preservando os fortes priors do VDM. A Autoatenção Cross-Modal (CMSA) compartilha chaves e valores entre modalidades mantendo consultas específicas por modalidade, facilitando a troca de informações e o alinhamento intermodal. Instanciamos o UniVidX em dois domínios: UniVid-Intrínseco, para vídeos RGB e mapas intrínsecos incluindo albedo, irradiância e normal; e UniVid-Alfa, para vídeos RGB compostos e suas camadas constituintes RGBA. Experimentos mostram que ambos os modelos alcançam desempenho competitivo com os métodos state-of-the-art em tarefas distintas e generalizam robustamente para cenários do mundo real, mesmo quando treinados com menos de 1.000 vídeos. Página do projeto: https://houyuanchen111.github.io/UniVidX.github.io/
A busca na web com agentes enfrenta cada vez mais duas demandas distintas: o raciocínio profundo sobre um único alvo e a agregação estruturada através de múltiplas entidades e fontes heterogêneas. Os sistemas atuais apresentam dificuldades em ambas as frentes. Tarefas orientadas à amplitude exigem saídas alinhadas a esquemas, com ampla cobertura e consistência entre entidades, enquanto tarefas orientadas à profundidade requerem raciocínio coerente sobre trajetórias de busca longas e ramificadas. Apresentamos o Web2BigTable, uma arquitetura multiagente para busca web-para-tabela que suporta ambos os regimes. O Web2BigTable adota uma arquitetura de dois níveis na qual um orquestrador de nível superior decompõe a tarefa em subproblemas e agentes trabalhadores de nível inferior os resolvem em paralelo. Através de um processo de ciclo fechado executar-verificar-refletir, a estrutura melhora conjuntamente a decomposição e a execução ao longo do tempo por meio de uma memória externa persistente e legível por humanos, com atualizações de auto-evolução para cada agente individual. Durante a execução, os trabalhadores coordenam-se através de um espaço de trabalho compartilhado que torna as descobertas parciais visíveis, permitindo-lhes reduzir a exploração redundante, reconciliar evidências conflitantes e adaptar-se a lacunas de cobertura emergentes. O Web2BigTable estabelece um novo estado da arte no WideSearch, atingindo uma Taxa de Sucesso Avg@4 de 38.50 (7.5 vezes o segundo melhor, com 5.10), F1 de Linha de 63.53 (+25.03 acima do segundo melhor) e F1 de Item de 80.12 (+14.42 acima do segundo melhor). Ele também generaliza para busca orientada à profundidade no XBench-DeepSearch, alcançando 73.0 de precisão. O código está disponível em https://github.com/web2bigtable/web2bigtable.
A geração de mundos 3D é essencial para aplicações como a criação de conteúdo imersivo ou a simulação de condução autónoma. Avanços recentes na geração de mundos 3D têm mostrado resultados promissores; no entanto, estes métodos estão limitados por layouts de grelha e sofrem de inconsistências na escala dos objetos ao longo de todo o mundo. Neste trabalho, introduzimos uma nova estrutura, o Map2World, que permite, pela primeira vez, a geração de mundos 3D condicionada a mapas de segmentos de formas e escalas arbitrárias definidos pelo utilizador, garantindo consistência de escala global e flexibilidade em ambientes expansivos. Para melhorar ainda mais a qualidade, propomos uma rede de aperfeiçoamento de detalhes que gera pormenores finos do mundo. O aperfeiçoador de detalhes permite a adição de pormenores granulares sem comprometer a coerência geral da cena, incorporando informações da estrutura global. Concebemos todo o *pipeline* para aproveitar fortes *priors* de geradores de *assets*, alcançando uma generalização robusta em diversos domínios, mesmo com dados de treino limitados para a geração de cenários. Experiências extensivas demonstram que o nosso método supera significativamente as abordagens existentes em controlabilidade pelo utilizador, consistência de escala e coerência de conteúdo, permitindo aos utilizadores gerar mundos 3D sob condições mais complexas.
Os modelos de edição de imagens 2D baseados em texto atingiram recentemente um nível impressionante de maturidade, motivando um volume crescente de trabalhos que dependem fortemente desses modelos para impulsionar edições 3D. Embora sejam eficazes para modificações baseadas em aparência, esses pipelines de edição 3D centrados em 2D frequentemente lutam com a edição 3D de granularidade fina, onde mudanças estruturais localizadas devem ser aplicadas enquanto se preserva estritamente a identidade geral de um objeto. Para superar esta limitação, propomos o Prox-E, uma estrutura livre de treinamento que permite o controle 3D de granularidade fina por meio de uma abstração geométrica explícita baseada em primitivas. Nossa estrutura primeiro abstrai uma forma 3D de entrada em um conjunto compacto de primitivas geométricas. Um modelo de visão e linguagem (VLM) pré-treinado então edita essa abstração para especificar alterações a nível de primitiva. Essas edições estruturais são subsequentemente usadas para orientar um modelo generativo 3D, permitindo modificações localizadas e de granularidade fina, preservando as regiões inalteradas da forma original. Por meio de extensivos experimentos, demonstramos que nosso método equilibra consistentemente a preservação de identidade, a qualidade da forma e a fidelidade à instrução de forma mais eficaz do que várias abordagens existentes, incluindo editores 3D baseados em 2D e métodos baseados em treinamento.
Os agentes de LLM dependem cada vez mais de habilidades reutilizáveis, pacotes de capacidades que combinam instruções, fluxo de controle, restrições e chamadas de ferramentas. Na maioria dos sistemas de agentes atuais, no entanto, as habilidades ainda são representadas por artefatos excessivamente textuais, incluindo documentos no estilo SKILL.md e registros estruturados cuja evidência utilizável por máquinas permanece embutida principalmente em descrições em linguagem natural. Isso representa um desafio para sistemas de agentes centrados em habilidades: gerenciar coleções de habilidades e usar habilidades para apoiar agentes exigem raciocínio sobre interfaces de invocação, estrutura de execução e efeitos colaterais concretos que frequentemente estão entrelaçados em uma única superfície textual. Uma representação explícita do conhecimento de habilidades pode, portanto, ajudar a tornar esses artefatos mais fáceis de serem adquiridos e aproveitados pelas máquinas. Baseando-nos nos Pacotes de Organização de Memória (MOPs), na Teoria de Scripts e na Dependência Conceitual do trabalho clássico de Schank e Abelson sobre representação do conhecimento linguístico, introduzimos o que é, até onde sabemos, a primeira representação estruturada para artefatos de habilidades de agente que desembaraça sinais de agendamento em nível de habilidade, estrutura de execução em nível de cena e evidência de ação e uso de recursos em nível lógico: a representação Agendamento-Estrutural-Lógica (SSL). Instanciamos a SSL com um normalizador baseado em LLM e a avaliamos em um corpus de habilidades em duas tarefas, Descoberta de Habilidades e Avaliação de Riscos, superando significativamente as baselines baseadas apenas em texto: na Descoberta de Habilidades, a SSL melhora o MRR de 0,573 para 0,707; na Avaliação de Riscos, melhora o F1 macro de 0,744 para 0,787. Esses achados revelam que uma estrutura explícita e fundamentada na fonte torna as habilidades dos agentes mais fáceis de pesquisar e revisar. Eles também sugerem que a SSL é melhor compreendida como um passo prático em direção a representações de habilidades mais inspecionáveis, reutilizáveis e operacionalmente acionáveis para sistemas de agentes, em vez de um padrão finalizado ou um mecanismo de ponta a ponta para gerenciar e usar habilidades.
As políticas de robôs generalistas beneficiam-se cada vez mais do pré-treinamento em larga escala, mas os dados offline por si só são insuficientes para uma implantação robusta no mundo real. Os robôs em operação encontram mudanças de distribuição, falhas de cauda longa, variações de tarefas e oportunidades de correção humana que conjuntos de dados de demonstração fixos não conseguem capturar totalmente. Apresentamos o Aprendizado Durante a Implantação (LWD), uma estrutura de aprendizagem por reforço offline-para-online em escala de frota para o pós-treinamento contínuo de políticas generalistas Visão-Linguagem-Ação (VLA). Partindo de uma política VLA pré-treinada, o LWD fecha o ciclo entre implantação, experiência física compartilhada, melhoria de política e reimplantação, utilizando rollouts autónomos e intervenções humanas recolhidas em toda uma frota de robôs. Para estabilizar a aprendizagem a partir de dados heterogéneos e de recompensa esparsa da frota, o LWD combina a Aprendizagem de Valor Implícito Distribucional (DIVL) para estimativa robusta de valor com o Q-learning por Correspondência Adjunta (QAM) para extração de políticas em geradores de ação VLA baseados em fluxo. Validamos o LWD numa frota de 16 robôs de dois braços em oito tarefas de manipulação do mundo real, incluindo reabastecimento semântico de mercearia e tarefas de longo horizonte de 3 a 5 minutos. Uma única política generalista melhora à medida que a experiência da frota se acumula, atingindo uma taxa média de sucesso de 95%, com os maiores ganhos em tarefas de longo horizonte.
O Teste de Adversário (Red-Teaming) de Modelos de Linguagem de Grande Porte (LLM), que identifica proativamente as vulnerabilidades desses modelos, é um processo essencial para garantir a segurança. Encontrar ataques eficazes e diversificados durante o teste de adversário é importante, mas alcançar ambos é um desafio. As Redes de Fluxo Generativo (Generative Flow Networks - GFNs), que realizam correspondência de distribuição, são métodos promissores, mas são notórios pela instabilidade no treinamento e pelo colapso modal. Especificamente, recompensas instáveis no teste de adversário aceleram o colapso modal. Propomos a Stable-GFN (S-GFN), que elimina a estimativa da função de partição Z na GFN e reduz a instabilidade do treinamento. A S-GFN evita a estimativa de Z por meio de comparações pareadas e emprega uma metodologia robusta de mascaramento contra recompensas ruidosas. Adicionalmente, propomos um estabilizador de fluência para evitar que o modelo fique preso em ótimos locais que produzem textos sem sentido. A S-GFN proporciona um treinamento mais estável, mantendo a política ótima da GFN. Demonstramos o desempenho de ataque avassalador e a diversidade da S-GFN em várias configurações.
Neste artigo, apresentamos o Generative Language-Image Pre-training (GenLIP), uma estrutura minimalista de pré-treinamento generativo para Vision Transformers (ViTs) projetada para modelos de linguagem multimodal de grande escala (MLLMs). Para melhor alinhar os codificadores de visão com a natureza autoregressiva dos LLMs, o GenLIP treina um ViT para prever tokens de linguagem diretamente a partir de tokens visuais usando um objetivo padrão de modelagem de linguagem, sem construção de lotes contrastivos ou um decodificador de texto adicional. Este projeto oferece três vantagens principais: (1) Simplicidade: um único transformer modela conjuntamente tokens visuais e textuais; (2) Escalabilidade: escala efetivamente com o tamanho dos dados e do modelo; e (3) Desempenho: alcança resultados competitivos ou superiores em diversos benchmarks multimodais. Treinado em 8B de amostras do Recap-DataComp-1B, o GenLIP iguala ou supera baselines robustas apesar de usar substancialmente menos dados de pré-treinamento. Após pré-treinamento contínuo em imagens de múltiplas resoluções com proporções nativas, o GenLIP melhora ainda mais em tarefas sensíveis a detalhes, como OCR e compreensão de gráficos, tornando-o uma base sólida para codificadores de visão em MLLMs.
Árvores de decisão e modelos de difusão são classes de modelos aparentemente distintas, uma discreta e hierárquica, a outra contínua e dinâmica. Este trabalho unifica as duas ao estabelecer uma correspondência matemática precisa entre árvores de decisão hierárquicas e processos de difusão em regimes limites apropriados. Nossa unificação revela um princípio de otimização compartilhado: o Global Trajectory Score Matching (GTSM), para o qual o *gradient boosting* (em uma versão idealizada) é assintoticamente ótimo. Destacamos o valor conceitual do nosso trabalho por meio de duas instanciações práticas fundamentais: o \treeflow, que alcança qualidade de geração competitiva em dados tabulares com maior fidelidade e uma aceleração computacional de 2×, e o \dsmtree, um novo método de destilação que transfere a lógica de decisão hierárquica para redes neurais, equiparando o desempenho do professor em até 2% em vários *benchmarks*.
Os modelos de difusão texto-imagem alcançam uma fidelidade visual impressionante, mas permanecem pouco confiáveis na geração de múltiplos objetos. Apesar de extensas evidências empíricas dessas falhas, as causas subjacentes permanecem pouco claras. Começamos por questionar o quanto dessa limitação surge dos próprios dados. Para isolar os efeitos dos dados, consideramos dois regimes em diferentes tamanhos de conjuntos de dados: (1) generalização de conceitos, onde cada conceito individual é observado durante o treinamento sob distribuições de dados potencialmente desequilibradas, e (2) generalização composicional, onde combinações específicas de conceitos são sistematicamente excluídas (held-out). Para estudar esses regimes, introduzimos o MOSAIC (Multi-Object Spatial relations, AttrIbution, Counting), uma estrutura controlada para geração de conjuntos de dados. Ao treinar modelos de difusão no MOSAIC, descobrimos que a complexidade da cena desempenha um papel dominante, e não o desequilíbrio de conceitos, e que a contagem é singularmente difícil de aprender em regimes de poucos dados. Além disso, a generalização composicional entra em colapso à medida que mais combinações de conceitos são excluídas durante o treinamento. Essas descobertas destacam limitações fundamentais dos modelos de difusão e motivam vieses indutivos mais fortes e um design de dados mais robusto para a geração composicional de múltiplos objetos.
A modelagem autoregressiva de imagens depende de tokenizadores visuais para comprimir imagens em representações latentes compactas. Projetamos um pipeline de treinamento de ponta a ponta que otimiza conjuntamente a reconstrução e a geração, permitindo supervisão direta dos resultados de geração para o tokenizador. Isso contrasta com abordagens anteriores em duas etapas que treinam tokenizadores e modelos generativos separadamente. Investigamos ainda o aproveitamento de modelos de base de visão para melhorar tokenizadores 1D para modelagem autoregressiva. Nosso modelo generativo autoregressivo alcança fortes resultados empíricos, incluindo um estado da arte no score FID de 1,48 sem orientação na geração de ImageNet 256x256.
Dada a crescente capacidade dos modelos visuo-linguísticos (VLMs), a sua extensão para tarefas interativas de tomada de decisão, como videojogos, emergiu como uma fronteira promissora. No entanto, as abordagens existentes ou dependem de um ajuste fino supervisionado (SFT) em larga escala com trajetórias humanas, ou aplicam aprendizagem por reforço (RL) apenas em contextos de horizonte relativamente curto (tipicamente cerca de 20-30 turnos). Neste trabalho, estudamos o treino baseado em RL de VLMs para tomada de decisão de longo horizonte em Super Mario Land, um ambiente visual que requer mais de 100 turnos de interação com perceção, raciocínio e ação coordenados. Começamos com uma investigação sistemática dos componentes algorítmicos chave e propomos uma variante adaptada do PPO com um crítico leve ao nível do turno, que melhora substancialmente a estabilidade do treino e a eficiência amostral em comparação com métodos sem crítico, como GRPO e Reinforce++. Mostramos ainda que os VLMs pré-treinados fornecem fortes prioridades de ação, melhorando significativamente a eficiência amostral durante o treino de RL e reduzindo a necessidade de escolhas de design manual, como a engenharia de ações, em comparação com o RL clássico treinado a partir do zero. Com base nestes insights, introduzimos o Odysseus, um framework de treino aberto para agentes VLM, alcançando ganhos substanciais em múltiplas fases do jogo e um progresso médio no jogo pelo menos 3 vezes superior ao dos modelos de fronteira. Além disso, os modelos treinados exibem melhorias consistentes tanto em configurações de generalização dentro do jogo como entre jogos, mantendo ao mesmo tempo capacidades no domínio geral. No geral, os nossos resultados identificam ingredientes chave para tornar o RL estável e eficaz em configurações multimodais de longo horizonte e fornecem orientações práticas para o desenvolvimento de VLMs como agentes incorporados.
O treinamento de modelos de fundação biológicos estáveis exige uma reformulação dos mecanismos de atenção: descobrimos que o uso da atenção sigmoide como substituta direta da atenção softmax a) produz representações aprendidas superiores: em seis conjuntos de dados de célula única diversos, a sigmoide alcança uma separação de tipos celulares 25% maior, melhores métricas de coesão de tipos celulares e menor perda de validação; b) treinamento mais rápido: modelos com atenção sigmoide treinam até 10% mais rápido que suas contrapartes com softmax; e c) treinamento mais estável, eliminando fontes inerentes de instabilidade na atenção softmax. Demonstramos que a atenção sigmoide possui derivadas globalmente limitadas (≤ 0,25), em oposição à softmax, e uma estrutura diagonal do Jacobiano, contrastando com o acoplamento denso da softmax, o que em conjunto ajuda a aliviar as instabilidades de treinamento. Em testes de estresse com modelos de atenção bidirecionais de 160 milhões de parâmetros, treinados sem corte de gradiente em sequências de 8 mil tokens, a softmax diverge catastrophicamente, com gradientes explodindo em quatro ordens de magnitude, enquanto a sigmoide permanece estável. Por fim, implementamos e disponibilizamos como código aberto o TritonSigmoid, um kernel de GPU eficiente que atinge 515 TFLOPS em GPUs H100, superando tanto o FlashAttention-2 quanto o FlashSigmoid, com suporte nativo a preenchimento (padding), essencial para sequências biológicas. Nossos resultados estabelecem a atenção sigmoide como teoricamente fundamentada e empiricamente superior para modelos de fundação biológicos. O código está disponível em https://github.com/MSDLLCpapers/triton-sigmoid.
O projeto de circuitos analógicos depende fortemente da reutilização de propriedade intelectual (IP) existente, no entanto, a busca através de representações heterogêneas, como netlists SPICE, esquemáticos e descrições funcionais, permanece um desafio. Os métodos existentes estão amplamente limitados à correspondência exata dentro de uma única modalidade, falhando em capturar relações semânticas cruzadas. Para preencher esta lacuna, apresentamos o AnalogRetriever, uma estrutura de recuperação trimodal unificada para busca de circuitos analógicos. Primeiro, construímos um conjunto de dados de alta qualidade sobre o Masala-CHAI por meio de um pipeline de reparo em dois estágios que eleva a taxa de compilação de netlists de 22\% para 100\%. Com base nessa fundação, o AnalogRetriever codifica esquemáticos e descrições com um modelo de visão e linguagem, e netlists com uma rede convolucional gráfica relacional consciente de portas, mapeando todas as três modalidades em um espaço de incorporação compartilhado via aprendizado contrastivo curricular. Experimentos mostram que o AnalogRetriever alcança uma Revocação@1 média de 75,2\% em todas as seis direções de recuperação cruzada, superando significativamente as linhas de base existentes. Quando integrado à estrutura agentiva AnalogCoder como um módulo de geração aumentada por recuperação, ele melhora consistentemente as taxas de aprovação funcional e permite que tarefas anteriormente não resolvidas sejam concluídas. Nosso código e conjunto de dados serão liberados.
Os modelos de recompensa (RMs) tornaram-se um componente indispensável no processo de pós-treinamento de modelos de linguagem (LM), permitindo o alinhamento de políticas e a escalabilidade em tempo de teste. No entanto, a pesquisa sobre a aplicação de RMs na geração de código tem sido comparativamente escassa, com os trabalhos existentes focando-se maioritariamente em *feedback* de execução. Esta escolha restringe o pós-treinamento à otimização da correção funcional em código executável autónomo. Neste trabalho, examinamos o treino e a avaliação de RMs de código multilingues e multicritério. Para tal, começamos por compilar o **Themis-CodeRewardBench**, um *benchmark* para avaliar RMs de código em cinco dimensões de preferência (ou seja, critérios) e oito linguagens de programação, no qual analisamos mais de 50 RMs de código, matemáticos e de propósito geral. Observando a proficiência limitada dos RMs atuais para além da pontuação da correção funcional, desenvolvemos o **Themis-CodePreference**, a maior coleção de código aberto de preferências de código até à data (mais de 350 mil pares de preferências), e usamo-la para treinar o **Themis-RM**, um conjunto de modelos de recompensa de código multilingues para pontuação multicritério flexível, variando em tamanho de 600M a 32B de parâmetros. As nossas experiências e *ablation studies* demonstram tendências positivas de escalabilidade, forte transferência cross-lingual quando treinados com preferências diversificadas, e a importância do treino multicritério para uma modelação de recompensa de código fiável.
Os Grandes Modelos de Visão e Linguagem (LVLMs) frequentemente sofrem de alucinações, gerando descrições que incluem detalhes visuais ausentes da imagem de entrada. Os métodos recentes de alinhamento de preferência geralmente dependem de supervisão destilada de modelos mais robustos, como o GPT. No entanto, este paradigma offline introduz um Desajuste de Supervisão-Percepção: o modelo estudante é forçado a alinhar-se com detalhes refinados além da sua capacidade perceptiva, aprendendo a adivinhar em vez de a ver. Para obter uma autossupervisão confiável para aprendizagem online, identificamos um Fosso Generativo-Discriminativo nos LVLMs, onde os modelos exibem maior precisão na verificação discriminativa do que na geração de resposta aberta. Aproveitando esta capacidade, propomos a Autocalibração Online (OSCAR), uma estrutura que integra a Pesquisa em Árvore de Monte Carlo com um Mecanismo de Recompensa de Granularidade Dupla para construir dados de preferência e refinar iterativamente o modelo através da Otimização Direta de Preferência. Experimentos extensivos demonstram que o OSCAR alcança desempenho de ponta em benchmarks de alucinação, melhorando simultaneamente as capacidades multimodais gerais.
As arquiteturas Mixture-of-Experts (MoE) em Modelos de Linguagem de Grande Porte (LLMs) reduziram significativamente os custos de inferência através da ativação esparsa. No entanto, este paradigma de ativação esparsa também introduz novos desafios de segurança. Uma vez que apenas um subconjunto de especialistas é ativado para cada entrada, o comportamento do modelo torna-se acoplado às decisões de roteamento, resultando num mecanismo de difícil controlo que pode variar entre cenários relevantes para a segurança. Ao mesmo tempo, adaptar o comportamento do modelo através de *fine-tuning* completo ou retreinamento é dispendioso, especialmente quando os desenvolvedores precisam de configurar rapidamente o mesmo modelo para diferentes objetivos de segurança. Apresentamos o MASCing (MoE Activation Steering Configuration), o primeiro *framework* que permite a reconfiguração flexível do comportamento MoE em diversos cenários de segurança sem retreinamento. O MASCing utiliza um modelo substituto baseado em LSTM para capturar dependências de roteamento entre camadas e mapear os *logits* de roteamento para comportamentos *downstream*. Em seguida, otimiza uma matriz de direcionamento para identificar circuitos de especialistas relevantes para o comportamento e, no momento da inferência, aplica máscaras de direcionamento aos *gates* de roteamento para substituir a seleção de especialistas. Isto permite o reforço ou supressão direcionada de comportamentos específicos, preservando a utilidade geral da linguagem. Para demonstrar a sua reconfigurabilidade, aplicamos o MASCing a dois objetivos diferentes relacionados com segurança e observamos ganhos consistentes com sobrecarga negligenciável em sete modelos MoE de código aberto. Para a defesa contra *jailbreak* multi-turn, melhora a taxa média de sucesso da defesa de 52,5% para 83,9%, com ganhos de até 89,2%. Para a geração de conteúdo adulto, o MASCing permite que os modelos cumpram tais solicitações que de outra forma seriam recusadas, aumentando a taxa média de sucesso de geração de 52,6% para 82,0%, com ganhos de até 93,0%. Estes resultados estabelecem o MASCing como um *framework* prático, leve e flexível para reconfiguração de segurança específica por cenário em modelos MoE.
A otimização distribuída de consenso por caixa-preta é um problema fundamental em sistemas multiagente, nos quais os agentes devem melhorar um objetivo global utilizando apenas consultas locais ao objetivo e comunicação limitada com vizinhos. Os métodos existentes dependem amplamente de regras de atualização manuais e padrões de cooperação estáticos, que frequentemente lutam para equilibrar adaptação local, coordenação global e eficiência de comunicação em ambientes não convexos e heterogêneos. Neste artigo, damos um passo inicial em direção ao autoprojeto orientado por trajetória para a otimização distribuída de consenso por caixa-preta. Primeiro, redesenhamos a dinâmica de enxame a nível de agente com um mecanismo interno adaptativo ajustado para configurações de consenso descentralizadas, melhorando o equilíbrio entre exploração, convergência e escape local. Construído sobre esta camada de execução adaptativa, propomos o Learning to Act and Cooperate (LACMAS), uma estrutura orientada por trajetória na qual modelos de linguagem grande fornecem orientação esparsa de alto nível para moldar tanto os comportamentos de ação internos do agente quanto os padrões de cooperação externos do agente a partir de trajetórias históricas de otimização. Introduzimos ainda uma estratégia de escalonamento cognitivo em fases para ativar diferentes formas de adaptação de maneira consciente aos recursos. Experimentos em benchmarks padrão de otimização distribuída por caixa-preta e tarefas distribuídas do mundo real mostram que o LACMAS melhora consistentemente a qualidade da solução, a eficiência de convergência e a eficiência de comunicação em relação a bases de comparação robustas, sugerindo uma rota prática da coordenação distribuída manual em direção a sistemas de otimização multiagente autoprojetantes.
Um codificador de orador utilizado em clonagem de voz multilingue deve tratar o mesmo orador de forma idêntica, independentemente do script em que o áudio foi proferido. Os codificadores disponíveis comercialmente não o fazem, e a falha é condicionada ao sotaque. Num corpus de voz com 1043 pares de sotaque ocidental, abrangendo inglês, hindi, telugu e tâmil, o WavLM-base-plus-sv perde 0,082 de similaridade de cosseno absoluta quando a mesma voz muda de script, e o ECAPA-TDNN perde 0,105. Num corpus de voz com 1369 pares de sotaque indiano, a diferença reduz-se para 0,006 (WavLM-SV) e 0,044 (ECAPA-TDNN). A fuga é maior onde é mais importante para o TTS entre scripts: quando um sistema projeta uma voz não treinada em línguas índicas para scripts índicos. Apresentamos o LASE (Language-Adversarial Speaker Encoder), uma pequena cabeça de projeção sobre o WavLM-base-plus congelado, treinada com duas funções de perda: uma perda contrastiva supervisionada sobre a identidade da voz e uma entropia cruzada com reversão de gradiente contra um classificador de 4 línguas que força o *embedding* a ser não informativo sobre a língua, mantendo-se informativo sobre o orador. Treinado em 1118 pares entre scripts com controlo de qualidade, sintetizados a partir de 8 vozes multilingues comerciais, a diferença residual do LASE é consistente com zero em ambos os corpora (Δ = 0,013 Ocidental, Δ = 0,026 Indiano; ambos os ICs de 95% *bootstrap* incluem zero) e amplifica a margem entre-script-vs-base 2,4-2,7x em relação a ambas as linhas de base. Uma ablação ECAPA+GRL mostra que o objetivo GRL melhora qualquer *backbone*, mas a escolha do WavLM também contribui. Na diarização de multi-orador sintética, o LASE equipara-se ao ECAPA-TDNN na revocação de oradores entre scripts (0,788 vs 0,789) com ~100x menos dados de treino. Disponibilizamos o *checkpoint* r1, ambos os corpora e a receita *bootstrap*.
Modelos de geração conjunta de áudio e vídeo demonstraram que a geração unificada produz uma coerência cross-modal superior às abordagens em cascata. No entanto, os modelos existentes acoplam as modalidades durante todo o processo de remoção de ruído por meio de atenção generalizada, tratando a semântica de alto nível e os detalhes de baixo nível de uma forma totalmente entrelaçada. Isto é subótimo para a síntese de cabeças falantes: embora o áudio e o movimento facial estejam semanticamente correlacionados, as suas realizações de baixo nível (sinais acústicos e texturas visuais) seguem processos de renderização distintos. Impor uma modelagem conjunta em todos os níveis causa um entrelaçamento desnecessário e reduz a eficiência. Propomos o Talker-T2AV, uma framework de difusão autoregressiva na qual a modelagem cross-modal de alto nível ocorre numa estrutura compartilhada (backbone), enquanto o refinamento de baixo nível utiliza decodificadores específicos por modalidade. Um modelo de linguagem autoregressivo compartilhado processa conjuntamente o áudio e o vídeo num espaço unificado de tokens ao nível de *patches*. Duas cabeças leves de transformador de difusão decodificam os estados ocultos em latentes de áudio e vídeo ao nível do *frame*. Experiências em benchmarks de retratos falantes mostram que o Talker-T2AV supera as linhas de base de ramo duplo em precisão de sincronização labial, qualidade de vídeo e qualidade de áudio, alcançando uma consistência cross-modal mais forte do que os *pipelines* em cascata.
Apresentamos os Diagramas Anisotrópicos Suaves (SAD), uma representação de imagem explícita e diferenciável parametrizada por um conjunto de sítios adaptativos no plano da imagem. No SAD, cada sítio especifica uma métrica anisotrópica e uma pontuação de distância com ponderação aditiva, e calculamos as cores dos pixels como uma mistura softmax sobre um pequeno subconjunto top-K de sítios por pixel. Induzimos uma partição de Voronoi anisotrópica suave com ponderação aditiva (ou seja, um diagrama de Apolônio) com temperaturas aprendíveis por sítio, preservando gradientes informativos enquanto permite limites claros, alinhados com o conteúdo, e propriedade explícita. Tal formulação permite uma renderização eficiente, mantendo um mapa top-K por consulta que aproxima os vizinhos mais próximos sob a mesma pontuação de sombreamento, permitindo um cálculo local de tamanho fixo e adequado para GPU. Atualizamos esta lista usando nosso esquema de propagação top-K inspirado no *jump flooding*, aumentado com injeção estocástica para fornecer cobertura global probabilística. O treinamento segue um *pipeline* prioritário para GPU com inicialização ponderada por gradiente, otimização Adam e controle de orçamento adaptativo por meio de densificação e poda. Em *benchmarks* padrão, o SAD supera consistentemente o Image-GS e o Instant-NGP com taxa de bits equivalente. No Kodak, o SAD atinge 46,0 dB de PSNR com 2,2 s de tempo de codificação (vs. 28 s do Image-GS) e oferece acelerações de treinamento de 4 a 19 vezes em relação aos métodos state-of-the-art. Demonstramos a eficácia do SAD mostrando a integração perfeita com *pipelines* diferenciáveis para problemas diretos e inversos, a eficiência do acesso aleatório rápido e o armazenamento compacto.