PhysBERT: Un modelo de incrustación de texto para la literatura científica de física

PhysBERT: A Text Embedding Model for Physics Scientific Literature

August 18, 2024

Autores: Thorsten Hellert, João Montenegro, Andrea Pollastro

cs.AI

Resumen

El lenguaje especializado y los conceptos complejos en física plantean desafíos significativos para la extracción de información a través del Procesamiento del Lenguaje Natural (PLN). Fundamental para las aplicaciones efectivas de PLN es el modelo de incrustación de texto, que convierte el texto en representaciones vectoriales densas para una recuperación eficiente de información y análisis semántico. En este trabajo, presentamos PhysBERT, el primer modelo de incrustación de texto específico de física. Pre-entrenado en un corpus curado de 1.2 millones de artículos de física de arXiv y afinado con datos supervisados, PhysBERT supera a los principales modelos de propósito general en tareas específicas de física, incluida la efectividad en el ajuste fino para subdominios específicos de física.

English

The specialized language and complex concepts in physics pose significant challenges for information extraction through Natural Language Processing (NLP). Central to effective NLP applications is the text embedding model, which converts text into dense vector representations for efficient information retrieval and semantic analysis. In this work, we introduce PhysBERT, the first physics-specific text embedding model. Pre-trained on a curated corpus of 1.2 million arXiv physics papers and fine-tuned with supervised data, PhysBERT outperforms leading general-purpose models on physics-specific tasks including the effectiveness in fine-tuning for specific physics subdomains.