あなたの事前学習モデルは改善されましたか？マルチヘッド事後分布に基づくアプローチ

要旨

事前学習モデルの出現は、自然言語処理（NLP）やコンピュータビジョンからリレーショナルデータセットに至るまで、幅広い分野に大きな影響を与えてきました。従来、これらのモデルは、下流タスクでのファインチューニングを通じて評価されてきました。しかし、これではこれらのモデルをより効率的かつ効果的に評価する方法が問題となります。本研究では、各エンティティに関連するメタ特徴を世界知識の源として活用し、モデルから得られるエンティティ表現を利用する新たなアプローチを探ります。私たちは、これらの表現とメタ特徴の一貫性を、事前学習モデルを評価するための指標として使用することを提案します。私たちの手法の有効性は、リレーショナルデータセットを持つモデル、大規模言語モデル、画像モデルなど、さまざまなドメインで実証されています。

English

The emergence of pretrained models has significantly impacted from Natural Language Processing (NLP) and Computer Vision to relational datasets. Traditionally, these models are assessed through fine-tuned downstream tasks. However, this raises the question of how to evaluate these models more efficiently and more effectively. In this study, we explore a novel approach where we leverage the meta features associated with each entity as a source of worldly knowledge and employ entity representations from the models. We propose using the consistency between these representations and the meta features as a metric for evaluating pretrained models. Our method's effectiveness is demonstrated across various domains, including models with relational datasets, large language models and images models.

あなたの事前学習モデルは改善されましたか？マルチヘッド事後分布に基づくアプローチ

Has Your Pretrained Model Improved? A Multi-head Posterior Based Approach

要旨

Support