Grandes Modelos de Linguagem Encontram a Classificação Multirrótulo Extrema: Escalabilidade e uma Abordagem Multimodal

Large Language Models Meet Extreme Multi-label Classification: Scaling and Multi-modal Framework

November 17, 2025

Autores: Diego Ortego, Marlon Rodríguez, Mario Almagro, Kunal Dahiya, David Jiménez, Juan C. SanMiguel

cs.AI

Resumo

Os modelos de base revolucionaram a inteligência artificial em inúmeros domínios, mas o seu potencial transformador permanece largamente por explorar na Classificação Multi-rótulo Extrema (XMC). Nas tarefas de XMC, as consultas estão associadas a rótulos relevantes de espaços de rótulos extremamente grandes, sendo crucial encontrar um equilíbrio entre eficiência e desempenho. Por isso, muitas abordagens recentes formulam eficientemente o problema de XMC como uma busca de produto interno máximo entre incorporações aprendidas a partir de pequenas arquiteturas transformadoras do tipo *encoder-only*. Neste artigo, abordamos dois aspetos importantes na XMC: como aproveitar eficazmente modelos maiores do tipo *decoder-only* e como explorar a informação visual mantendo a eficiência computacional. Demonstramos que ambos desempenham um papel crítico na XMC separadamente e podem ser combinados para melhorar o desempenho. Mostramos que um *decoder* de alguns milhares de milhões de parâmetros pode proporcionar melhorias substanciais, mantendo uma sobrecarga computacional gerível. Além disso, a nossa estrutura Vision-enhanced eXtreme Multi-label Learning (ViXML) integra eficientemente modelos de base de visão através do agrupamento de uma única incorporação por imagem. Isto limita o crescimento computacional, ao mesmo tempo que desbloqueia capacidades multimodais. Notavelmente, a ViXML com pequenos *encoders* supera o *decoder* baseado apenas em texto na maioria dos casos, mostrando que uma imagem vale milhares de milhões de parâmetros. Por fim, apresentamos uma extensão de conjuntos de dados existentes apenas com texto para explorar metadados visuais e disponibilizamo-los para futuras comparações. Experiências abrangentes em quatro conjuntos de dados públicos apenas com texto e nas suas versões correspondentes enriquecidas com imagens validam a eficácia das nossas propostas, superando o estado da arte anterior em até +8,21% em P@1 no maior conjunto de dados. O código da ViXML está disponível em https://github.com/DiegoOrtego/vixml.

English

Foundation models have revolutionized artificial intelligence across numerous domains, yet their transformative potential remains largely untapped in Extreme Multi-label Classification (XMC). Queries in XMC are associated with relevant labels from extremely large label spaces, where it is critical to strike a balance between efficiency and performance. Therefore, many recent approaches efficiently pose XMC as a maximum inner product search between embeddings learned from small encoder-only transformer architectures. In this paper, we address two important aspects in XMC: how to effectively harness larger decoder-only models, and how to exploit visual information while maintaining computational efficiency. We demonstrate that both play a critical role in XMC separately and can be combined for improved performance. We show that a few billion-size decoder can deliver substantial improvements while keeping computational overhead manageable. Furthermore, our Vision-enhanced eXtreme Multi-label Learning framework (ViXML) efficiently integrates foundation vision models by pooling a single embedding per image. This limits computational growth while unlocking multi-modal capabilities. Remarkably, ViXML with small encoders outperforms text-only decoder in most cases, showing that an image is worth billions of parameters. Finally, we present an extension of existing text-only datasets to exploit visual metadata and make them available for future benchmarking. Comprehensive experiments across four public text-only datasets and their corresponding image enhanced versions validate our proposals' effectiveness, surpassing previous state-of-the-art by up to +8.21\% in P@1 on the largest dataset. ViXML's code is available at https://github.com/DiegoOrtego/vixml.