Uni-SMART: Transformador Universal de Análise e Pesquisa Multimodal em Ciências

Uni-SMART: Universal Science Multimodal Analysis and Research Transformer

March 15, 2024

Autores: Hengxing Cai, Xiaochen Cai, Shuwen Yang, Jiankun Wang, Lin Yao, Zhifeng Gao, Junhan Chang, Sihang Li, Mingjun Xu, Changxin Wang, Hongshuai Wang, Yongge Li, Mujie Lin, Yaqi Li, Yuqi Yin, Linfeng Zhang, Guolin Ke

cs.AI

Resumo

Na pesquisa científica e sua aplicação, a análise da literatura científica é crucial, pois permite que os pesquisadores construam sobre o trabalho de outros. No entanto, o rápido crescimento do conhecimento científico levou a um aumento massivo de artigos acadêmicos, tornando a análise aprofundada da literatura cada vez mais desafiadora e demorada. O surgimento dos Modelos de Linguagem de Grande Escala (LLMs, na sigla em inglês) ofereceu uma nova maneira de enfrentar esse desafio. Reconhecidos por suas fortes habilidades em resumir textos, os LLMs são vistos como uma ferramenta potencial para melhorar a análise da literatura científica. No entanto, os LLMs existentes têm suas próprias limitações. A literatura científica frequentemente inclui uma ampla gama de elementos multimodais, como estruturas moleculares, tabelas e gráficos, que são difíceis de entender e analisar para LLMs focados em texto. Esse problema aponta para a necessidade urgente de novas soluções que possam compreender e analisar plenamente o conteúdo multimodal na literatura científica. Para atender a essa demanda, apresentamos o Uni-SMART (Universal Science Multimodal Analysis and Research Transformer), um modelo inovador projetado para o entendimento aprofundado da literatura científica multimodal. Por meio de uma avaliação quantitativa rigorosa em várias áreas, o Uni-SMART demonstra desempenho superior em relação aos principais LLMs focados em texto. Além disso, nossa exploração se estende a aplicações práticas, incluindo a detecção de violação de patentes e a análise detalhada de gráficos. Essas aplicações não apenas destacam a adaptabilidade do Uni-SMART, mas também seu potencial para revolucionar a forma como interagimos com a literatura científica.

English

In scientific research and its application, scientific literature analysis is crucial as it allows researchers to build on the work of others. However, the fast growth of scientific knowledge has led to a massive increase in scholarly articles, making in-depth literature analysis increasingly challenging and time-consuming. The emergence of Large Language Models (LLMs) has offered a new way to address this challenge. Known for their strong abilities in summarizing texts, LLMs are seen as a potential tool to improve the analysis of scientific literature. However, existing LLMs have their own limits. Scientific literature often includes a wide range of multimodal elements, such as molecular structure, tables, and charts, which are hard for text-focused LLMs to understand and analyze. This issue points to the urgent need for new solutions that can fully understand and analyze multimodal content in scientific literature. To answer this demand, we present Uni-SMART (Universal Science Multimodal Analysis and Research Transformer), an innovative model designed for in-depth understanding of multimodal scientific literature. Through rigorous quantitative evaluation across several domains, Uni-SMART demonstrates superior performance over leading text-focused LLMs. Furthermore, our exploration extends to practical applications, including patent infringement detection and nuanced analysis of charts. These applications not only highlight Uni-SMART's adaptability but also its potential to revolutionize how we interact with scientific literature.