Chiffres SBS : Figure de pré-entraînement pour la QA d'images synthétisées étape par étape.

SBS Figures: Pre-training Figure QA from Stage-by-Stage Synthesized Images

December 23, 2024

Auteurs: Risa Shinoda, Kuniaki Saito, Shohei Tanaka, Tosho Hirasawa, Yoshitaka Ushiku

cs.AI

Résumé

La création d'un ensemble de données de questions-réponses sur les figures à grande échelle nécessite une quantité considérable de travail, de la collecte et de la sélection des figures à l'extraction des attributs tels que le texte, les chiffres et les couleurs, en passant par la génération de questions-réponses. Bien que les récents développements dans les LLM aient conduit à des efforts pour synthétiser des figures, la plupart se concentrent principalement sur la génération de questions-réponses. De plus, la création de figures directement à l'aide des LLM rencontre souvent des problèmes tels que des erreurs de code, des figures se ressemblant et un contenu répétitif dans les figures. Pour résoudre ce problème, nous présentons SBSFigures (Figures Synthétiques Étape par Étape), un ensemble de données pour la pré-formation aux questions-réponses sur les figures. Notre pipeline proposé permet la création de figures graphiques avec des annotations complètes des données visualisées et des annotations denses de questions-réponses sans aucun processus d'annotation manuelle. Notre pipeline étape par étape rend possible la création efficace de figures sur des sujets et des apparences diversifiés tout en minimisant les erreurs de code. Nos SBSFigures démontrent un fort effet de pré-formation, permettant d'obtenir un entraînement efficace avec une quantité limitée de données de graphiques du monde réel à partir de nos poids pré-entraînés.

English

Building a large-scale figure QA dataset requires a considerable amount of work, from gathering and selecting figures to extracting attributes like text, numbers, and colors, and generating QAs. Although recent developments in LLMs have led to efforts to synthesize figures, most of these focus primarily on QA generation. Additionally, creating figures directly using LLMs often encounters issues such as code errors, similar-looking figures, and repetitive content in figures. To address this issue, we present SBSFigures (Stage-by-Stage Synthetic Figures), a dataset for pre-training figure QA. Our proposed pipeline enables the creation of chart figures with complete annotations of the visualized data and dense QA annotations without any manual annotation process. Our stage-by-stage pipeline makes it possible to create diverse topic and appearance figures efficiently while minimizing code errors. Our SBSFigures demonstrate a strong pre-training effect, making it possible to achieve efficient training with a limited amount of real-world chart data starting from our pre-trained weights.