Is uw voorgetraind model verbeterd? Een aanpak gebaseerd op multi-head posterior

Samenvatting

De opkomst van vooraf getrainde modellen heeft een aanzienlijke impact gehad, van Natural Language Processing (NLP) en Computer Vision tot relationele datasets. Traditioneel worden deze modellen beoordeeld via fijn afgestemde downstream taken. Dit roept echter de vraag op hoe deze modellen efficiënter en effectiever kunnen worden geëvalueerd. In deze studie onderzoeken we een nieuwe aanpak waarbij we de meta-kenmerken die aan elke entiteit zijn gekoppeld, gebruiken als bron van wereldlijke kennis en entiteitsrepresentaties uit de modellen inzetten. We stellen voor om de consistentie tussen deze representaties en de meta-kenmerken te gebruiken als een maatstaf voor het evalueren van vooraf getrainde modellen. De effectiviteit van onze methode wordt aangetoond in verschillende domeinen, waaronder modellen met relationele datasets, grote taalmodellen en beeldmodellen.

English

The emergence of pretrained models has significantly impacted from Natural Language Processing (NLP) and Computer Vision to relational datasets. Traditionally, these models are assessed through fine-tuned downstream tasks. However, this raises the question of how to evaluate these models more efficiently and more effectively. In this study, we explore a novel approach where we leverage the meta features associated with each entity as a source of worldly knowledge and employ entity representations from the models. We propose using the consistency between these representations and the meta features as a metric for evaluating pretrained models. Our method's effectiveness is demonstrated across various domains, including models with relational datasets, large language models and images models.

Is uw voorgetraind model verbeterd? Een aanpak gebaseerd op multi-head posterior

Has Your Pretrained Model Improved? A Multi-head Posterior Based Approach

Samenvatting

Support