PhysBERT: Ein Texteinbettungsmodell für die physikalische wissenschaftliche Literatur

PhysBERT: A Text Embedding Model for Physics Scientific Literature

August 18, 2024

Autoren: Thorsten Hellert, João Montenegro, Andrea Pollastro

cs.AI

Zusammenfassung

Die spezialisierte Sprache und komplexen Konzepte in der Physik stellen bedeutende Herausforderungen für die Informationsgewinnung durch Natural Language Processing (NLP) dar. Zentral für effektive NLP-Anwendungen ist das Texteinbettungsmodell, das Text in dichte Vektorrepräsentationen zur effizienten Informationsgewinnung und semantischen Analyse umwandelt. In dieser Arbeit stellen wir PhysBERT vor, das erste physikspezifische Texteinbettungsmodell. Vortrainiert auf einem kuratierten Korpus von 1,2 Millionen arXiv-Physikartikeln und feinabgestimmt mit überwachten Daten, übertrifft PhysBERT führende allgemeine Modelle in physikspezifischen Aufgaben, einschließlich der Effektivität bei der Feinabstimmung für spezifische physikalische Teilgebiete.

English

The specialized language and complex concepts in physics pose significant challenges for information extraction through Natural Language Processing (NLP). Central to effective NLP applications is the text embedding model, which converts text into dense vector representations for efficient information retrieval and semantic analysis. In this work, we introduce PhysBERT, the first physics-specific text embedding model. Pre-trained on a curated corpus of 1.2 million arXiv physics papers and fine-tuned with supervised data, PhysBERT outperforms leading general-purpose models on physics-specific tasks including the effectiveness in fine-tuning for specific physics subdomains.