PhysBERT: Модель встраивания текста для научной литературы по физике

PhysBERT: A Text Embedding Model for Physics Scientific Literature

August 18, 2024

Авторы: Thorsten Hellert, João Montenegro, Andrea Pollastro

cs.AI

Аннотация

Специализированный язык и сложные концепции в физике представляют существенные вызовы для извлечения информации с помощью обработки естественного языка (Natural Language Processing, NLP). Ключевым элементом эффективных приложений NLP является модель вложения текста, которая преобразует текст в плотные векторные представления для эффективного извлечения информации и семантического анализа. В данной работе мы представляем PhysBERT, первую физику-специфичную модель вложения текста. Обученная на отобранном корпусе из 1,2 миллиона физических статей arXiv и донастроенная на размеченных данных, PhysBERT превосходит ведущие универсальные модели на физику-специфичных задачах, включая эффективность донастройки для конкретных поддоменов физики.

English

The specialized language and complex concepts in physics pose significant challenges for information extraction through Natural Language Processing (NLP). Central to effective NLP applications is the text embedding model, which converts text into dense vector representations for efficient information retrieval and semantic analysis. In this work, we introduce PhysBERT, the first physics-specific text embedding model. Pre-trained on a curated corpus of 1.2 million arXiv physics papers and fine-tuned with supervised data, PhysBERT outperforms leading general-purpose models on physics-specific tasks including the effectiveness in fine-tuning for specific physics subdomains.