DLT-Corpus: Крупномасштабный корпус текстов для области технологий распределенного реестра

DLT-Corpus: A Large-Scale Text Collection for the Distributed Ledger Technology Domain

February 25, 2026

Авторы: Walter Hernandez Cruz, Peter Devine, Nikhil Vadgama, Paolo Tasca, Jiahua Xu

cs.AI

Аннотация

Мы представляем DLT-Corpus — крупнейший на сегодняшний день тематический текстовый корпус для исследований в области технологий распределённого реестра (DLT): 2,98 миллиарда токенов из 22,12 миллиона документов, включающих научные публикации (37 440 работ), патенты Ведомства по патентам и товарным знакам США (USPTO) (49 023 заявки) и сообщения из социальных сетей (22 миллиона постов). Существующие ресурсы для обработки естественного языка (NLP), связанные с DLT, узко сфокусированы на прогнозировании цен криптовалют и смарт-контрактах, оставляя без должного внимания предметную лексику, несмотря на рыночную капитализацию сектора около $3 трлн и быстрое технологическое развитие. Мы демонстрируем полезность DLT-Corpus, анализируя модели возникновения технологий и корреляции между рынком и инновациями. Результаты показывают, что технологии зарождаются в научной литературе, прежде чем перейти в патенты и социальные медиа, следуя традиционным моделям трансфера технологий. В то время как настроения в социальных сетях остаются преимущественно оптимистичными даже в периоды «криптозимы», активность в научной и патентной сферах растёт независимо от рыночных колебаний, отслеживая общее расширение рынка в рамках благотворного цикла, где исследования предшествуют экономическому росту и делают его возможным, а тот, в свою очередь, финансирует дальнейшие инновации. Мы публично выпускаем полный корпус DLT-Corpus; LedgerBERT — адаптированную для предметной области модель, которая демонстрирует на 23% лучшие результаты по сравнению с BERT-base в задаче распознавания именованных сущностей (NER) для DLT; а также все сопутствующие инструменты и код.

English

We introduce DLT-Corpus, the largest domain-specific text collection for Distributed Ledger Technology (DLT) research to date: 2.98 billion tokens from 22.12 million documents spanning scientific literature (37,440 publications), United States Patent and Trademark Office (USPTO) patents (49,023 filings), and social media (22 million posts). Existing Natural Language Processing (NLP) resources for DLT focus narrowly on cryptocurrencies price prediction and smart contracts, leaving domain-specific language under explored despite the sector's ~$3 trillion market capitalization and rapid technological evolution. We demonstrate DLT-Corpus' utility by analyzing technology emergence patterns and market-innovation correlations. Findings reveal that technologies originate in scientific literature before reaching patents and social media, following traditional technology transfer patterns. While social media sentiment remains overwhelmingly bullish even during crypto winters, scientific and patent activity grow independently of market fluctuations, tracking overall market expansion in a virtuous cycle where research precedes and enables economic growth that funds further innovation. We publicly release the full DLT-Corpus; LedgerBERT, a domain-adapted model achieving 23% improvement over BERT-base on a DLT-specific Named Entity Recognition (NER) task; and all associated tools and code.