Uni-SMART: Универсальный научный мультимодальный анализ и исследовательский трансформер

Uni-SMART: Universal Science Multimodal Analysis and Research Transformer

March 15, 2024

Авторы: Hengxing Cai, Xiaochen Cai, Shuwen Yang, Jiankun Wang, Lin Yao, Zhifeng Gao, Junhan Chang, Sihang Li, Mingjun Xu, Changxin Wang, Hongshuai Wang, Yongge Li, Mujie Lin, Yaqi Li, Yuqi Yin, Linfeng Zhang, Guolin Ke

cs.AI

Аннотация

В научных исследованиях и их применении анализ научной литературы играет ключевую роль, поскольку позволяет исследователям строить на основе работ других. Однако быстрый рост научных знаний привел к огромному увеличению научных статей, что делает более глубокий анализ литературы все более сложным и времязатратным. Появление Больших Языковых Моделей (Large Language Models, LLMs) предложило новый способ решения этой проблемы. Известные своими сильными способностями в кратком изложении текстов, LLMs рассматриваются как потенциальный инструмент для улучшения анализа научной литературы. Однако у существующих LLMs есть свои ограничения. Научная литература часто включает в себя широкий спектр мультимодальных элементов, таких как молекулярная структура, таблицы и графики, которые сложно понять и проанализировать для ориентированных на текст LLMs. Эта проблема указывает на неотложную необходимость новых решений, способных полностью понимать и анализировать мультимодальный контент в научной литературе. Чтобы удовлетворить этот спрос, мы представляем Uni-SMART (Universal Science Multimodal Analysis and Research Transformer), инновационную модель, разработанную для глубокого понимания мультимодальной научной литературы. Через строгую количественную оценку в нескольких областях Uni-SMART демонстрирует превосходную производительность по сравнению с ведущими ориентированными на текст LLMs. Кроме того, наше исследование расширяется до практических применений, включая обнаружение нарушений патентов и тонкий анализ графиков. Эти приложения не только подчеркивают адаптивность Uni-SMART, но и его потенциал для революционизации взаимодействия с научной литературой.

English

In scientific research and its application, scientific literature analysis is crucial as it allows researchers to build on the work of others. However, the fast growth of scientific knowledge has led to a massive increase in scholarly articles, making in-depth literature analysis increasingly challenging and time-consuming. The emergence of Large Language Models (LLMs) has offered a new way to address this challenge. Known for their strong abilities in summarizing texts, LLMs are seen as a potential tool to improve the analysis of scientific literature. However, existing LLMs have their own limits. Scientific literature often includes a wide range of multimodal elements, such as molecular structure, tables, and charts, which are hard for text-focused LLMs to understand and analyze. This issue points to the urgent need for new solutions that can fully understand and analyze multimodal content in scientific literature. To answer this demand, we present Uni-SMART (Universal Science Multimodal Analysis and Research Transformer), an innovative model designed for in-depth understanding of multimodal scientific literature. Through rigorous quantitative evaluation across several domains, Uni-SMART demonstrates superior performance over leading text-focused LLMs. Furthermore, our exploration extends to practical applications, including patent infringement detection and nuanced analysis of charts. These applications not only highlight Uni-SMART's adaptability but also its potential to revolutionize how we interact with scientific literature.