Uni-SMART: 범용 과학 멀티모달 분석 및 연구 트랜스포머

Uni-SMART: Universal Science Multimodal Analysis and Research Transformer

March 15, 2024

저자: Hengxing Cai, Xiaochen Cai, Shuwen Yang, Jiankun Wang, Lin Yao, Zhifeng Gao, Junhan Chang, Sihang Li, Mingjun Xu, Changxin Wang, Hongshuai Wang, Yongge Li, Mujie Lin, Yaqi Li, Yuqi Yin, Linfeng Zhang, Guolin Ke

cs.AI

초록

과학 연구 및 그 응용 분야에서 과학 문헌 분석은 연구자들이 다른 사람들의 연구를 기반으로 작업을 진행할 수 있게 해주는 중요한 과정입니다. 그러나 과학 지식의 급속한 성장은 학술 논문의 방대한 증가를 초래했으며, 이로 인해 심층적인 문헌 분석은 점점 더 어려워지고 시간이 많이 소요되는 작업이 되었습니다. 대형 언어 모델(Large Language Models, LLMs)의 등장은 이러한 문제를 해결할 수 있는 새로운 방법을 제공했습니다. 텍스트 요약에 강력한 능력을 보이는 LLMs는 과학 문헌 분석을 개선할 수 있는 잠재적 도구로 여겨집니다. 그러나 기존의 LLMs는 한계를 가지고 있습니다. 과학 문헌은 종종 분자 구조, 표, 차트 등 다양한 다중 모드 요소를 포함하고 있으며, 이러한 요소들은 텍스트 중심의 LLMs가 이해하고 분석하기 어려운 부분입니다. 이 문제는 과학 문헌 내 다중 모드 콘텐츠를 완전히 이해하고 분석할 수 있는 새로운 솔루션의 필요성을 강조합니다. 이러한 요구에 부응하기 위해, 우리는 다중 모드 과학 문헌의 심층적 이해를 위해 설계된 혁신적인 모델인 Uni-SMART(Universal Science Multimodal Analysis and Research Transformer)를 제안합니다. 여러 분야에 걸친 엄격한 정량적 평가를 통해 Uni-SMART는 주요 텍스트 중심 LLMs를 능가하는 우수한 성능을 입증했습니다. 더 나아가, 우리의 탐구는 특허 침해 탐지 및 차트의 미묘한 분석을 포함한 실용적인 응용 분야로 확장됩니다. 이러한 응용은 Uni-SMART의 적응성뿐만 아니라 과학 문헌과 상호작용하는 방식을 혁신할 수 있는 잠재력을 강조합니다.

English

In scientific research and its application, scientific literature analysis is crucial as it allows researchers to build on the work of others. However, the fast growth of scientific knowledge has led to a massive increase in scholarly articles, making in-depth literature analysis increasingly challenging and time-consuming. The emergence of Large Language Models (LLMs) has offered a new way to address this challenge. Known for their strong abilities in summarizing texts, LLMs are seen as a potential tool to improve the analysis of scientific literature. However, existing LLMs have their own limits. Scientific literature often includes a wide range of multimodal elements, such as molecular structure, tables, and charts, which are hard for text-focused LLMs to understand and analyze. This issue points to the urgent need for new solutions that can fully understand and analyze multimodal content in scientific literature. To answer this demand, we present Uni-SMART (Universal Science Multimodal Analysis and Research Transformer), an innovative model designed for in-depth understanding of multimodal scientific literature. Through rigorous quantitative evaluation across several domains, Uni-SMART demonstrates superior performance over leading text-focused LLMs. Furthermore, our exploration extends to practical applications, including patent infringement detection and nuanced analysis of charts. These applications not only highlight Uni-SMART's adaptability but also its potential to revolutionize how we interact with scientific literature.