당신의 사전 학습 모델은 개선되었는가? 다중 헤드 사후 확률 기반 접근법

초록

사전 학습된 모델의 등장은 자연어 처리(NLP)와 컴퓨터 비전부터 관계형 데이터셋에 이르기까지 다양한 분야에 큰 영향을 미쳤습니다. 전통적으로 이러한 모델들은 미세 조정된 하위 작업을 통해 평가되어 왔습니다. 그러나 이는 이러한 모델을 더 효율적이고 효과적으로 평가할 방법에 대한 질문을 제기합니다. 본 연구에서는 각 엔티티와 관련된 메타 특성을 세상 지식의 원천으로 활용하고 모델에서 얻은 엔티티 표현을 사용하는 새로운 접근 방식을 탐구합니다. 우리는 이러한 표현과 메타 특성 간의 일관성을 사전 학습된 모델을 평가하기 위한 지표로 사용할 것을 제안합니다. 우리의 방법은 관계형 데이터셋을 가진 모델, 대형 언어 모델, 이미지 모델을 포함한 다양한 도메인에서 그 효과성을 입증합니다.

English

The emergence of pretrained models has significantly impacted from Natural Language Processing (NLP) and Computer Vision to relational datasets. Traditionally, these models are assessed through fine-tuned downstream tasks. However, this raises the question of how to evaluate these models more efficiently and more effectively. In this study, we explore a novel approach where we leverage the meta features associated with each entity as a source of worldly knowledge and employ entity representations from the models. We propose using the consistency between these representations and the meta features as a metric for evaluating pretrained models. Our method's effectiveness is demonstrated across various domains, including models with relational datasets, large language models and images models.

당신의 사전 학습 모델은 개선되었는가? 다중 헤드 사후 확률 기반 접근법

Has Your Pretrained Model Improved? A Multi-head Posterior Based Approach

초록

Support