SBS-cijfers: Vooraf trainen van cijfervragen vanuit fase-voor-fase gesynthetiseerde afbeeldingen

SBS Figures: Pre-training Figure QA from Stage-by-Stage Synthesized Images

December 23, 2024

Auteurs: Risa Shinoda, Kuniaki Saito, Shohei Tanaka, Tosho Hirasawa, Yoshitaka Ushiku

cs.AI

Samenvatting

Het opbouwen van een dataset voor vraag-antwoord (QA) op grote schaal vereist aanzienlijk werk, van het verzamelen en selecteren van figuren tot het extraheren van attributen zoals tekst, getallen en kleuren, en het genereren van QAs. Hoewel recente ontwikkelingen in Taalmodel met Lineaire Modellen (LLMs) hebben geleid tot inspanningen om figuren te synthetiseren, richten de meeste van deze inspanningen zich voornamelijk op QA-generatie. Bovendien stuit het direct creëren van figuren met LLMs vaak op problemen zoals codefouten, figuren die op elkaar lijken en repetitieve inhoud in figuren. Om dit probleem aan te pakken, presenteren we SBSFigures (Figuur-synthetisatie stap voor stap), een dataset voor het vooraf trainen van figuur QA. Ons voorgestelde proces maakt het mogelijk om grafiekfiguren te creëren met volledige annotaties van de gevisualiseerde gegevens en dichte QA-annotaties zonder enig handmatig annotatieproces. Ons stap-voor-stap proces maakt het mogelijk om efficiënt diverse onderwerps- en uiterlijkfiguren te creëren, terwijl codefouten worden geminimaliseerd. Onze SBSFigures tonen een sterk effect van vooraf trainen, waardoor efficiënte training mogelijk is met een beperkte hoeveelheid echte grafiekgegevens, te beginnen vanuit onze vooraf getrainde gewichten.

English

Building a large-scale figure QA dataset requires a considerable amount of work, from gathering and selecting figures to extracting attributes like text, numbers, and colors, and generating QAs. Although recent developments in LLMs have led to efforts to synthesize figures, most of these focus primarily on QA generation. Additionally, creating figures directly using LLMs often encounters issues such as code errors, similar-looking figures, and repetitive content in figures. To address this issue, we present SBSFigures (Stage-by-Stage Synthetic Figures), a dataset for pre-training figure QA. Our proposed pipeline enables the creation of chart figures with complete annotations of the visualized data and dense QA annotations without any manual annotation process. Our stage-by-stage pipeline makes it possible to create diverse topic and appearance figures efficiently while minimizing code errors. Our SBSFigures demonstrate a strong pre-training effect, making it possible to achieve efficient training with a limited amount of real-world chart data starting from our pre-trained weights.