GraphNet: Масштабный набор данных вычислительных графов для исследования тензорных компиляторов

GraphNet: A Large-Scale Computational Graph Dataset for Tensor Compiler Research

October 28, 2025

Авторы: Xinqi Li, Yiqun Liu, Shan Jiang, Enrong Zheng, Huaijin Zheng, Wenhao Dai, Haodong Deng, Dianhai Yu, Yanjun Ma

cs.AI

Аннотация

Мы представляем GraphNet — набор данных, содержащий 2,7 тыс. реальных вычислительных графов глубокого обучения с богатыми метаданными, охватывающих шесть основных категорий задач в различных фреймворках глубокого обучения. Для оценки производительности тензорных компиляторов на этих примерах мы предлагаем эталонную метрику Score ускорения S(t), которая совместно учитывает ускорение времени выполнения и корректность исполнения при настраиваемых уровнях допуска, обеспечивая надежную меру общей оптимизационной способности. Кроме того, мы расширяем S(t) до Error-aware Speedup Score ES(t), которая включает информацию об ошибках и помогает разработчикам компиляторов выявлять ключевые узкие места производительности. В данном отчете мы тестируем стандартные тензорные компиляторы — CINN для PaddlePaddle и TorchInductor для PyTorch — на примерах из компьютерного зрения (CV) и обработки естественного языка (NLP), чтобы продемонстрировать практическую применимость GraphNet. Полный конвейер построения с инструментами извлечения графов и оценки компиляторов доступен по адресу https://github.com/PaddlePaddle/GraphNet.

English

We introduce GraphNet, a dataset of 2.7K real-world deep learning computational graphs with rich metadata, spanning six major task categories across multiple deep learning frameworks. To evaluate tensor compiler performance on these samples, we propose the benchmark metric Speedup Score S(t), which jointly considers runtime speedup and execution correctness under tunable tolerance levels, offering a reliable measure of general optimization capability. Furthermore, we extend S(t) to the Error-aware Speedup Score ES(t), which incorporates error information and helps compiler developers identify key performance bottlenecks. In this report, we benchmark the default tensor compilers, CINN for PaddlePaddle and TorchInductor for PyTorch, on computer vision (CV) and natural language processing (NLP) samples to demonstrate the practicality of GraphNet. The full construction pipeline with graph extraction and compiler evaluation tools is available at https://github.com/PaddlePaddle/GraphNet .