Hat sich Ihr vortrainiertes Modell verbessert? Ein Ansatz basierend auf Multi-Head-Posteriors

Has Your Pretrained Model Improved? A Multi-head Posterior Based Approach

January 2, 2024

Autoren: Prince Aboagye, Yan Zheng, Junpeng Wang, Uday Singh Saini, Xin Dai, Michael Yeh, Yujie Fan, Zhongfang Zhuang, Shubham Jain, Liang Wang, Wei Zhang

cs.AI

Zusammenfassung

Das Aufkommen vortrainierter Modelle hat erhebliche Auswirkungen auf Bereiche von der Verarbeitung natürlicher Sprache (Natural Language Processing, NLP) und der Computer Vision bis hin zu relationalen Datensätzen. Traditionell werden diese Modelle durch feinabgestimmte Downstream-Aufgaben bewertet. Dies wirft jedoch die Frage auf, wie diese Modelle effizienter und effektiver evaluiert werden können. In dieser Studie untersuchen wir einen neuartigen Ansatz, bei dem wir die Metadaten, die mit jeder Entität verbunden sind, als Quelle von Weltwissen nutzen und Entitätsrepräsentationen aus den Modellen verwenden. Wir schlagen vor, die Konsistenz zwischen diesen Repräsentationen und den Metadaten als Metrik zur Bewertung vortrainierter Modelle zu verwenden. Die Wirksamkeit unserer Methode wird in verschiedenen Domänen demonstriert, einschließlich Modellen mit relationalen Datensätzen, großen Sprachmodellen und Bildmodellen.

English

The emergence of pretrained models has significantly impacted from Natural Language Processing (NLP) and Computer Vision to relational datasets. Traditionally, these models are assessed through fine-tuned downstream tasks. However, this raises the question of how to evaluate these models more efficiently and more effectively. In this study, we explore a novel approach where we leverage the meta features associated with each entity as a source of worldly knowledge and employ entity representations from the models. We propose using the consistency between these representations and the meta features as a metric for evaluating pretrained models. Our method's effectiveness is demonstrated across various domains, including models with relational datasets, large language models and images models.