Modélisation Linguistique Multimodale pour l'Analyse et la Génération de Transcriptomique à Cellule Unique de Haute Précision

Multimodal Language Modeling for High-Accuracy Single Cell Transcriptomics Analysis and Generation

March 12, 2025

Auteurs: Yaorui Shi, Jiaqi Yang, Sihang Li, Junfeng Fang, Xiang Wang, Zhiyuan Liu, Yang Zhang

cs.AI

Résumé

Les modèles de langage pré-entraînés (PLMs) ont révolutionné la recherche scientifique, mais leur application à l'analyse unicellulaire reste limitée. Les PLMs textuels ne peuvent pas traiter les données de séquençage d'ARN unicellulaire, tandis que les PLMs cellulaires ne parviennent pas à gérer le texte libre, ce qui restreint leur utilisation dans les tâches multimodales. Les efforts existants pour combler ces modalités souffrent souvent d'une perte d'information ou d'un pré-entraînement unimodal inadéquat, conduisant à des performances sous-optimales. Pour relever ces défis, nous proposons le Single-Cell MultiModal Generative Pre-trained Transformer (scMMGPT), un PLM unifié pour la modélisation conjointe des cellules et du texte. scMMGPT intègre efficacement les PLMs cellulaires et textuels de pointe, facilitant le partage de connaissances intermodales pour une performance améliorée. Pour combler l'écart de modalité entre le texte et les cellules, scMMGPT s'appuie sur des projecteurs intermodaux dédiés et subit un pré-entraînement extensif sur 27 millions de cellules — le plus grand ensemble de données pour les PLMs multimodaux texte-cellule à ce jour. Ce pré-entraînement à grande échelle permet à scMMGPT d'exceller dans les tâches conjointes texte-cellule, obtenant une amélioration relative de 84 % de la divergence textuelle pour la génération de descriptions cellulaires, une précision 20,5 % plus élevée pour l'annotation des types cellulaires, et une amélioration de 4 % de la précision k-NN pour la génération de pseudo-cellules conditionnées par le texte, surpassant ainsi les modèles de référence.

English

Pre-trained language models (PLMs) have revolutionized scientific research, yet their application to single-cell analysis remains limited. Text PLMs cannot process single-cell RNA sequencing data, while cell PLMs lack the ability to handle free text, restricting their use in multimodal tasks. Existing efforts to bridge these modalities often suffer from information loss or inadequate single-modal pre-training, leading to suboptimal performances. To address these challenges, we propose Single-Cell MultiModal Generative Pre-trained Transformer (scMMGPT), a unified PLM for joint cell and text modeling. scMMGPT effectively integrates the state-of-the-art cell and text PLMs, facilitating cross-modal knowledge sharing for improved performance. To bridge the text-cell modality gap, scMMGPT leverages dedicated cross-modal projectors, and undergoes extensive pre-training on 27 million cells -- the largest dataset for multimodal cell-text PLMs to date. This large-scale pre-training enables scMMGPT to excel in joint cell-text tasks, achieving an 84\% relative improvement of textual discrepancy for cell description generation, 20.5\% higher accuracy for cell type annotation, and 4\% improvement in k-NN accuracy for text-conditioned pseudo-cell generation, outperforming baselines.