O Seu Modelo Pré-treinado Melhorou? Uma Abordagem Baseada em Posterior Multi-head

Resumo

O surgimento de modelos pré-treinados impactou significativamente desde o Processamento de Linguagem Natural (PLN) e Visão Computacional até conjuntos de dados relacionais. Tradicionalmente, esses modelos são avaliados por meio de tarefas subsequentes ajustadas (fine-tuning). No entanto, isso levanta a questão de como avaliar esses modelos de forma mais eficiente e eficaz. Neste estudo, exploramos uma abordagem inovadora em que utilizamos as meta características associadas a cada entidade como uma fonte de conhecimento do mundo real e empregamos as representações de entidades dos modelos. Propomos usar a consistência entre essas representações e as meta características como uma métrica para avaliar modelos pré-treinados. A eficácia do nosso método é demonstrada em vários domínios, incluindo modelos com conjuntos de dados relacionais, modelos de linguagem de grande escala e modelos de imagens.

English

The emergence of pretrained models has significantly impacted from Natural Language Processing (NLP) and Computer Vision to relational datasets. Traditionally, these models are assessed through fine-tuned downstream tasks. However, this raises the question of how to evaluate these models more efficiently and more effectively. In this study, we explore a novel approach where we leverage the meta features associated with each entity as a source of worldly knowledge and employ entity representations from the models. We propose using the consistency between these representations and the meta features as a metric for evaluating pretrained models. Our method's effectiveness is demonstrated across various domains, including models with relational datasets, large language models and images models.

O Seu Modelo Pré-treinado Melhorou? Uma Abordagem Baseada em Posterior Multi-head

Has Your Pretrained Model Improved? A Multi-head Posterior Based Approach

Resumo

Support