Uni-SMART: ユニバーサル・サイエンス マルチモーダル分析研究トランスフォーマー

Uni-SMART: Universal Science Multimodal Analysis and Research Transformer

March 15, 2024

著者: Hengxing Cai, Xiaochen Cai, Shuwen Yang, Jiankun Wang, Lin Yao, Zhifeng Gao, Junhan Chang, Sihang Li, Mingjun Xu, Changxin Wang, Hongshuai Wang, Yongge Li, Mujie Lin, Yaqi Li, Yuqi Yin, Linfeng Zhang, Guolin Ke

cs.AI

要旨

科学研究とその応用において、科学文献の分析は極めて重要であり、研究者が他者の研究を基に進めることを可能にします。しかし、科学知識の急速な拡大により、学術論文の数が膨大に増加し、深い文献分析はますます困難で時間のかかる作業となっています。大規模言語モデル（LLMs）の登場は、この課題に対処する新たな方法を提供しました。テキストの要約において強力な能力を持つLLMsは、科学文献の分析を改善する潜在的なツールとして注目されています。しかし、既存のLLMsには限界があります。科学文献には、分子構造、表、図表など多様なマルチモーダル要素が含まれることが多く、テキストに焦点を当てたLLMsではこれらを理解し分析することが困難です。この問題は、科学文献中のマルチモーダルコンテンツを完全に理解し分析するための新たな解決策が緊急に必要とされていることを示しています。この需要に応えるため、我々はUni-SMART（Universal Science Multimodal Analysis and Research Transformer）を提案します。これは、マルチモーダル科学文献の深い理解のために設計された革新的なモデルです。複数の分野にわたる厳密な定量的評価を通じて、Uni-SMARTは主要なテキスト中心のLLMsを上回る優れた性能を示しています。さらに、我々の探求は、特許侵害検出や図表の微妙な分析といった実用的な応用にも及びます。これらの応用は、Uni-SMARTの適応性だけでなく、科学文献との相互作用の方法を革新する可能性をも示しています。

English

In scientific research and its application, scientific literature analysis is crucial as it allows researchers to build on the work of others. However, the fast growth of scientific knowledge has led to a massive increase in scholarly articles, making in-depth literature analysis increasingly challenging and time-consuming. The emergence of Large Language Models (LLMs) has offered a new way to address this challenge. Known for their strong abilities in summarizing texts, LLMs are seen as a potential tool to improve the analysis of scientific literature. However, existing LLMs have their own limits. Scientific literature often includes a wide range of multimodal elements, such as molecular structure, tables, and charts, which are hard for text-focused LLMs to understand and analyze. This issue points to the urgent need for new solutions that can fully understand and analyze multimodal content in scientific literature. To answer this demand, we present Uni-SMART (Universal Science Multimodal Analysis and Research Transformer), an innovative model designed for in-depth understanding of multimodal scientific literature. Through rigorous quantitative evaluation across several domains, Uni-SMART demonstrates superior performance over leading text-focused LLMs. Furthermore, our exploration extends to practical applications, including patent infringement detection and nuanced analysis of charts. These applications not only highlight Uni-SMART's adaptability but also its potential to revolutionize how we interact with scientific literature.