Видение и Понимание: Связь Зрения с Химическим Знанием через ChemVLM

Seeing and Understanding: Bridging Vision with Chemical Knowledge Via ChemVLM

August 14, 2024

Авторы: Junxian Li, Di Zhang, Xunzhi Wang, Zeying Hao, Jingdi Lei, Qian Tan, Cai Zhou, Wei Liu, Weiyun Wang, Zhe Chen, Wenhai Wang, Wei Li, Shufei Zhang, Mao Su, Wanli Ouyang, Yuqiang Li, Dongzhan Zhou

cs.AI

Аннотация

В данном техническом отчете мы предлагаем ChemVLM - первую открытую мультимодальную крупную языковую модель, посвященную области химии, разработанную для решения несовместимости между пониманием химических изображений и текстовым анализом. Основываясь на архитектуре VIT-MLP-LLM, мы используем ChemLLM-20B в качестве основной крупной модели, наделяя нашу модель надежными возможностями в понимании и использовании химических текстовых знаний. Кроме того, мы применяем InternVIT-6B в качестве мощного кодировщика изображений. Мы подготовили высококачественные данные из области химии, включая молекулы, формулы реакций и данные химических экзаменов, и скомпилировали их в двуязычный мультимодальный набор данных для вопросов и ответов. Мы тестируем производительность нашей модели на нескольких открытых бенчмарках и трех пользовательских наборах оценки. Экспериментальные результаты показывают, что наша модель достигает отличной производительности, обеспечивая передовые результаты в пяти из шести задач. Нашу модель можно найти по адресу https://huggingface.co/AI4Chem/ChemVLM-26B.

English

In this technical report, we propose ChemVLM, the first open-source multimodal large language model dedicated to the fields of chemistry, designed to address the incompatibility between chemical image understanding and text analysis. Built upon the VIT-MLP-LLM architecture, we leverage ChemLLM-20B as the foundational large model, endowing our model with robust capabilities in understanding and utilizing chemical text knowledge. Additionally, we employ InternVIT-6B as a powerful image encoder. We have curated high-quality data from the chemical domain, including molecules, reaction formulas, and chemistry examination data, and compiled these into a bilingual multimodal question-answering dataset. We test the performance of our model on multiple open-source benchmarks and three custom evaluation sets. Experimental results demonstrate that our model achieves excellent performance, securing state-of-the-art results in five out of six involved tasks. Our model can be found at https://huggingface.co/AI4Chem/ChemVLM-26B.