PhysBERT : Un modèle d'incorporation de texte pour la littérature scientifique en physique

PhysBERT: A Text Embedding Model for Physics Scientific Literature

August 18, 2024

Auteurs: Thorsten Hellert, João Montenegro, Andrea Pollastro

cs.AI

Résumé

Le langage spécialisé et les concepts complexes en physique posent des défis importants pour l'extraction d'informations via le Traitement Automatique du Langage Naturel (TALN). Au cœur des applications efficaces de TALN se trouve le modèle d'incorporation de texte, qui convertit le texte en représentations vectorielles denses pour une récupération d'informations efficace et une analyse sémantique. Dans ce travail, nous présentons PhysBERT, le premier modèle d'incorporation de texte spécifique à la physique. Pré-entraîné sur un corpus sélectionné de 1,2 million d'articles de physique arXiv et affiné avec des données supervisées, PhysBERT surpasse les principaux modèles polyvalents sur des tâches spécifiques à la physique, y compris l'efficacité dans l'affinage pour des sous-domaines de la physique spécifiques.

English

The specialized language and complex concepts in physics pose significant challenges for information extraction through Natural Language Processing (NLP). Central to effective NLP applications is the text embedding model, which converts text into dense vector representations for efficient information retrieval and semantic analysis. In this work, we introduce PhysBERT, the first physics-specific text embedding model. Pre-trained on a curated corpus of 1.2 million arXiv physics papers and fine-tuned with supervised data, PhysBERT outperforms leading general-purpose models on physics-specific tasks including the effectiveness in fine-tuning for specific physics subdomains.