Il tuo modello pre-addestrato è migliorato? Un approccio basato su una posteriori multi-testa
Has Your Pretrained Model Improved? A Multi-head Posterior Based Approach
January 2, 2024
Autori: Prince Aboagye, Yan Zheng, Junpeng Wang, Uday Singh Saini, Xin Dai, Michael Yeh, Yujie Fan, Zhongfang Zhuang, Shubham Jain, Liang Wang, Wei Zhang
cs.AI
Abstract
L'emergenza dei modelli preaddestrati ha avuto un impatto significativo, dal Natural Language Processing (NLP) e Computer Vision fino ai dataset relazionali. Tradizionalmente, questi modelli vengono valutati attraverso task downstream di fine-tuning. Tuttavia, ciò solleva la questione di come valutare questi modelli in modo più efficiente ed efficace. In questo studio, esploriamo un approccio innovativo in cui sfruttiamo le meta caratteristiche associate a ciascuna entità come fonte di conoscenza del mondo e utilizziamo le rappresentazioni delle entità provenienti dai modelli. Proponiamo di utilizzare la coerenza tra queste rappresentazioni e le meta caratteristiche come metrica per valutare i modelli preaddestrati. L'efficacia del nostro metodo è dimostrata in vari domini, inclusi modelli con dataset relazionali, grandi modelli linguistici e modelli per immagini.
English
The emergence of pretrained models has significantly impacted from Natural
Language Processing (NLP) and Computer Vision to relational datasets.
Traditionally, these models are assessed through fine-tuned downstream tasks.
However, this raises the question of how to evaluate these models more
efficiently and more effectively. In this study, we explore a novel approach
where we leverage the meta features associated with each entity as a source of
worldly knowledge and employ entity representations from the models. We propose
using the consistency between these representations and the meta features as a
metric for evaluating pretrained models. Our method's effectiveness is
demonstrated across various domains, including models with relational datasets,
large language models and images models.