Uni-SMART: Transformador Universal para el Análisis e Investigación Multimodal en Ciencia

Uni-SMART: Universal Science Multimodal Analysis and Research Transformer

March 15, 2024

Autores: Hengxing Cai, Xiaochen Cai, Shuwen Yang, Jiankun Wang, Lin Yao, Zhifeng Gao, Junhan Chang, Sihang Li, Mingjun Xu, Changxin Wang, Hongshuai Wang, Yongge Li, Mujie Lin, Yaqi Li, Yuqi Yin, Linfeng Zhang, Guolin Ke

cs.AI

Resumen

En la investigación científica y su aplicación, el análisis de la literatura científica es crucial, ya que permite a los investigadores construir sobre el trabajo de otros. Sin embargo, el rápido crecimiento del conocimiento científico ha llevado a un aumento masivo de artículos académicos, haciendo que el análisis profundo de la literatura sea cada vez más desafiante y consumidor de tiempo. La aparición de los Modelos de Lenguaje de Gran Escala (LLMs, por sus siglas en inglés) ha ofrecido una nueva forma de abordar este desafío. Conocidos por su capacidad para resumir textos, los LLMs son vistos como una herramienta potencial para mejorar el análisis de la literatura científica. No obstante, los LLMs existentes tienen sus propias limitaciones. La literatura científica a menudo incluye una amplia gama de elementos multimodales, como estructuras moleculares, tablas y gráficos, que son difíciles de entender y analizar para los LLMs centrados en texto. Este problema señala la necesidad urgente de nuevas soluciones que puedan comprender y analizar completamente el contenido multimodal en la literatura científica. Para responder a esta demanda, presentamos Uni-SMART (Transformador Universal de Análisis e Investigación Multimodal en Ciencia), un modelo innovador diseñado para la comprensión profunda de la literatura científica multimodal. A través de una evaluación cuantitativa rigurosa en varios dominios, Uni-SMART demuestra un rendimiento superior en comparación con los principales LLMs centrados en texto. Además, nuestra exploración se extiende a aplicaciones prácticas, incluyendo la detección de infracciones de patentes y el análisis detallado de gráficos. Estas aplicaciones no solo resaltan la adaptabilidad de Uni-SMART, sino también su potencial para revolucionar la forma en que interactuamos con la literatura científica.

English

In scientific research and its application, scientific literature analysis is crucial as it allows researchers to build on the work of others. However, the fast growth of scientific knowledge has led to a massive increase in scholarly articles, making in-depth literature analysis increasingly challenging and time-consuming. The emergence of Large Language Models (LLMs) has offered a new way to address this challenge. Known for their strong abilities in summarizing texts, LLMs are seen as a potential tool to improve the analysis of scientific literature. However, existing LLMs have their own limits. Scientific literature often includes a wide range of multimodal elements, such as molecular structure, tables, and charts, which are hard for text-focused LLMs to understand and analyze. This issue points to the urgent need for new solutions that can fully understand and analyze multimodal content in scientific literature. To answer this demand, we present Uni-SMART (Universal Science Multimodal Analysis and Research Transformer), an innovative model designed for in-depth understanding of multimodal scientific literature. Through rigorous quantitative evaluation across several domains, Uni-SMART demonstrates superior performance over leading text-focused LLMs. Furthermore, our exploration extends to practical applications, including patent infringement detection and nuanced analysis of charts. These applications not only highlight Uni-SMART's adaptability but also its potential to revolutionize how we interact with scientific literature.