GraphNet: Ein umfangreicher Datensatz von Berechnungsgraphen für die Tensor-Compiler-Forschung

GraphNet: A Large-Scale Computational Graph Dataset for Tensor Compiler Research

October 28, 2025

papers.authors: Xinqi Li, Yiqun Liu, Shan Jiang, Enrong Zheng, Huaijin Zheng, Wenhao Dai, Haodong Deng, Dianhai Yu, Yanjun Ma

cs.AI

papers.abstract

Wir stellen GraphNet vor, einen Datensatz mit 2.700 realen Deep-Learning-Berechnungsgraphen und umfangreichen Metadaten, der sechs Hauptaufgabenkategorien über mehrere Deep-Learning-Frameworks hinweg abdeckt. Zur Bewertung der Tensor-Compiler-Leistung auf diesen Stichproben schlagen wir die Benchmark-Metrik Speedup Score S(t) vor, die Laufzeitbeschleunigung und Ausführungskorrektheit unter einstellbaren Toleranzgrenzen gemeinsam betrachtet und somit ein zuverlässiges Maß für allgemeine Optimierungsfähigkeit bietet. Darüber hinaus erweitern wir S(t) zum Error-aware Speedup Score ES(t), der Fehlerinformationen einbezieht und Compiler-Entwicklern hilft, wesentliche Leistungsengpässe zu identifizieren. In diesem Bericht evaluieren wir die Standard-Tensor-Compiler CINN für PaddlePaddle und TorchInductor für PyTorch an Stichproben aus Computer Vision (CV) und Natural Language Processing (NLP), um die Praxistauglichkeit von GraphNet zu demonstrieren. Der vollständige Erstellungspipeline mit Graph-Extraktions- und Compiler-Bewertungswerkzeugen ist unter https://github.com/PaddlePaddle/GraphNet verfügbar.

English

We introduce GraphNet, a dataset of 2.7K real-world deep learning computational graphs with rich metadata, spanning six major task categories across multiple deep learning frameworks. To evaluate tensor compiler performance on these samples, we propose the benchmark metric Speedup Score S(t), which jointly considers runtime speedup and execution correctness under tunable tolerance levels, offering a reliable measure of general optimization capability. Furthermore, we extend S(t) to the Error-aware Speedup Score ES(t), which incorporates error information and helps compiler developers identify key performance bottlenecks. In this report, we benchmark the default tensor compilers, CINN for PaddlePaddle and TorchInductor for PyTorch, on computer vision (CV) and natural language processing (NLP) samples to demonstrate the practicality of GraphNet. The full construction pipeline with graph extraction and compiler evaluation tools is available at https://github.com/PaddlePaddle/GraphNet .