Estamos a Progredir na Generalização de Domínios Multimodais? Um Estudo Abrangente de Benchmark

Resumo

Apesar da crescente popularidade da Generalização de Domínio Multimodal (MMDG) para melhorar a robustez dos modelos, permanece incerto se os ganhos de desempenho reportados refletem um progresso algorítmico genuíno ou são artefactos de protocolos de avaliação inconsistentes. A investigação atual está fragmentada, com estudos a variar significativamente entre conjuntos de dados, configurações de modalidade e definições experimentais. Além disso, os benchmarks existentes focam-se predominantemente no reconhecimento de ações, frequentemente negligenciando desafios críticos do mundo real, como corrupções de entrada, modalidades ausentes e confiabilidade do modelo. Esta falta de padronização obscurece uma avaliação fiável do avanço da área. Para resolver esta questão, introduzimos o MMDG-Bench, o primeiro benchmark unificado e abrangente para MMDG, que padroniza a avaliação em seis conjuntos de dados abrangendo três tarefas distintas: reconhecimento de ações, diagnóstico de falhas mecânicas e análise de sentimentos. O MMDG-Bench engloba seis combinações de modalidades, nove métodos representativos e múltiplas configurações de avaliação. Para além da precisão padrão, avalia sistematicamente a robustez à corrupção, a generalização com modalidades ausentes, a deteção de classificações erróneas e a deteção de dados fora da distribuição. Com um total de 7.402 redes neurais treinadas em 95 tarefas cruzadas de domínio únicas, o MMDG-Bench produz cinco conclusões principais: (1) sob comparações justas, os métodos especializados recentes de MMDG oferecem apenas melhorias marginais face à linha de base ERM; (2) nenhum método único supera consistentemente os outros em todos os conjuntos de dados ou combinações de modalidades; (3) persiste uma lacuna substancial em relação ao desempenho máximo, indicando que a MMDG está longe de estar resolvida; (4) a fusão trimodal não supera consistentemente as configurações bimodais mais fortes; e (5) todos os métodos avaliados exibem uma degradação significativa em cenários de corrupção e modalidades ausentes, com alguns métodos a comprometerem ainda mais a confiabilidade do modelo.

English

Despite the growing popularity of Multimodal Domain Generalization (MMDG) for enhancing model robustness, it remains unclear whether reported performance gains reflect genuine algorithmic progress or are artifacts of inconsistent evaluation protocols. Current research is fragmented, with studies varying significantly across datasets, modality configurations, and experimental settings. Furthermore, existing benchmarks focus predominantly on action recognition, often neglecting critical real-world challenges such as input corruptions, missing modalities, and model trustworthiness. This lack of standardization obscures a reliable assessment of the field's advancement. To address this issue, we introduce MMDG-Bench, the first unified and comprehensive benchmark for MMDG, which standardizes evaluation across six datasets spanning three diverse tasks: action recognition, mechanical fault diagnosis, and sentiment analysis. MMDG-Bench encompasses six modality combinations, nine representative methods, and multiple evaluation settings. Beyond standard accuracy, it systematically assesses corruption robustness, missing-modality generalization, misclassification detection, and out-of-distribution detection. With 7, 402 neural networks trained in total across 95 unique cross-domain tasks, MMDG-Bench yields five key findings: (1) under fair comparisons, recent specialized MMDG methods offer only marginal improvements over ERM baseline; (2) no single method consistently outperforms others across datasets or modality combinations; (3) a substantial gap to upper-bound performance persists, indicating that MMDG remains far from solved; (4) trimodal fusion does not consistently outperform the strongest bimodal configurations; and (5) all evaluated methods exhibit significant degradation under corruption and missing-modality scenarios, with some methods further compromising model trustworthiness.