DrugReasoner: Interpretierbare Vorhersage von Arzneimittelzulassungen mit einem sprachmodellgestützten Reasoning-Ansatz

papers.abstract

Die Wirkstoffentdeckung ist ein komplexer und ressourcenintensiver Prozess, wodurch die frühzeitige Vorhersage von Zulassungsergebnissen entscheidend für die Optimierung von Forschungsinvestitionen ist. Während klassische maschinelle Lernverfahren und Deep-Learning-Methoden vielversprechende Ansätze für die Vorhersage von Wirkstoffzulassungen gezeigt haben, schränkt ihre begrenzte Interpretierbarkeit ihren Nutzen ein. Hier stellen wir DrugReasoner vor, ein auf der LLaMA-Architektur basierendes, reasoning-basiertes großes Sprachmodell (LLM), das mit Group Relative Policy Optimization (GRPO) feinabgestimmt wurde, um die Wahrscheinlichkeit der Zulassung von kleinen Molekülen vorherzusagen. DrugReasoner integriert molekulare Deskriptoren mit vergleichendem Reasoning gegenüber strukturell ähnlichen zugelassenen und nicht zugelassenen Verbindungen und generiert Vorhersagen zusammen mit schrittweisen Begründungen und Konfidenzscores. DrugReasoner erzielte eine robuste Leistung mit einem AUC-Wert von 0,732 und einem F1-Score von 0,729 auf dem Validierungsdatensatz sowie 0,725 und 0,718 auf dem Testdatensatz. Diese Ergebnisse übertrafen konventionelle Baseline-Modelle, einschließlich logistischer Regression, Support Vector Machine und k-Nächste-Nachbarn, und zeigten eine wettbewerbsfähige Leistung im Vergleich zu XGBoost. Auf einem externen unabhängigen Datensatz übertraf DrugReasoner sowohl die Baseline als auch das kürzlich entwickelte ChemAP-Modell, mit einem AUC-Wert von 0,728 und einem F1-Score von 0,774, bei gleichzeitig hoher Präzision und ausgewogener Sensitivität, was seine Robustheit in realen Szenarien demonstriert. Diese Ergebnisse zeigen, dass DrugReasoner nicht nur eine wettbewerbsfähige Vorhersagegenauigkeit liefert, sondern auch die Transparenz durch seine Reasoning-Ausgaben erhöht und damit einen zentralen Engpass in der KI-gestützten Wirkstoffentdeckung adressiert. Diese Studie unterstreicht das Potenzial von reasoning-verstärkten LLMs als interpretierbare und effektive Werkzeuge für pharmazeutische Entscheidungsprozesse.

English

Drug discovery is a complex and resource-intensive process, making early prediction of approval outcomes critical for optimizing research investments. While classical machine learning and deep learning methods have shown promise in drug approval prediction, their limited interpretability constraints their impact. Here, we present DrugReasoner, a reasoning-based large language model (LLM) built on the LLaMA architecture and fine-tuned with group relative policy optimization (GRPO) to predict the likelihood of small-molecule approval. DrugReasoner integrates molecular descriptors with comparative reasoning against structurally similar approved and unapproved compounds, generating predictions alongside step-by-step rationales and confidence scores. DrugReasoner achieved robust performance with an AUC of 0.732 and an F1 score of 0.729 on the validation set and 0.725 and 0.718 on the test set, respectively. These results outperformed conventional baselines, including logistic regression, support vector machine, and k-nearest neighbors and had competitive performance relative to XGBoost. On an external independent dataset, DrugReasoner outperformed both baseline and the recently developed ChemAP model, achieving an AUC of 0.728 and an F1-score of 0.774, while maintaining high precision and balanced sensitivity, demonstrating robustness in real-world scenarios. These findings demonstrate that DrugReasoner not only delivers competitive predictive accuracy but also enhances transparency through its reasoning outputs, thereby addressing a key bottleneck in AI-assisted drug discovery. This study highlights the potential of reasoning-augmented LLMs as interpretable and effective tools for pharmaceutical decision-making.