Мультимодальное языковое моделирование для высокоточного анализа и генерации данных транскриптомики единичных клеток

Multimodal Language Modeling for High-Accuracy Single Cell Transcriptomics Analysis and Generation

March 12, 2025

Авторы: Yaorui Shi, Jiaqi Yang, Sihang Li, Junfeng Fang, Xiang Wang, Zhiyuan Liu, Yang Zhang

cs.AI

Аннотация

Предобученные языковые модели (PLM) произвели революцию в научных исследованиях, однако их применение в анализе одноклеточных данных остается ограниченным. Текстовые PLM не способны обрабатывать данные секвенирования РНК отдельных клеток, в то время как клеточные PLM не могут работать со свободным текстом, что ограничивает их использование в многомодальных задачах. Существующие попытки объединить эти модальности часто страдают от потери информации или недостаточной предобученности на отдельных модальностях, что приводит к неоптимальным результатам. Для решения этих проблем мы предлагаем Single-Cell MultiModal Generative Pre-trained Transformer (scMMGPT) — унифицированную PLM для совместного моделирования клеток и текста. scMMGPT эффективно интегрирует современные клеточные и текстовые PLM, способствуя обмену знаниями между модальностями для повышения производительности. Для преодоления разрыва между текстовой и клеточной модальностями scMMGPT использует специализированные кросс-модальные проекторы и проходит масштабное предобучение на 27 миллионах клеток — крупнейшем на сегодняшний день наборе данных для многомодальных клеточно-текстовых PLM. Такое масштабное предобучение позволяет scMMGPT превосходно справляться с совместными клеточно-текстовыми задачами, демонстрируя 84\% относительного улучшения в генерации текстовых описаний клеток, 20.5\% более высокую точность в аннотации типов клеток и 4\% улучшение точности k-NN для генерации псевдоклеток на основе текста, превосходя базовые модели.

English

Pre-trained language models (PLMs) have revolutionized scientific research, yet their application to single-cell analysis remains limited. Text PLMs cannot process single-cell RNA sequencing data, while cell PLMs lack the ability to handle free text, restricting their use in multimodal tasks. Existing efforts to bridge these modalities often suffer from information loss or inadequate single-modal pre-training, leading to suboptimal performances. To address these challenges, we propose Single-Cell MultiModal Generative Pre-trained Transformer (scMMGPT), a unified PLM for joint cell and text modeling. scMMGPT effectively integrates the state-of-the-art cell and text PLMs, facilitating cross-modal knowledge sharing for improved performance. To bridge the text-cell modality gap, scMMGPT leverages dedicated cross-modal projectors, and undergoes extensive pre-training on 27 million cells -- the largest dataset for multimodal cell-text PLMs to date. This large-scale pre-training enables scMMGPT to excel in joint cell-text tasks, achieving an 84\% relative improvement of textual discrepancy for cell description generation, 20.5\% higher accuracy for cell type annotation, and 4\% improvement in k-NN accuracy for text-conditioned pseudo-cell generation, outperforming baselines.