LayoutPrompter: Ontwaak het ontwerpvermogen van grote taalmodellen

LayoutPrompter: Awaken the Design Ability of Large Language Models

November 11, 2023

Auteurs: Jiawei Lin, Jiaqi Guo, Shizhao Sun, Zijiang James Yang, Jian-Guang Lou, Dongmei Zhang

cs.AI

Samenvatting

Conditionele grafische lay-outgeneratie, die automatisch gebruikersbeperkingen vertaalt naar hoogwaardige lay-outs, heeft tegenwoordig brede aandacht getrokken. Hoewel recente werken veelbelovende prestaties hebben bereikt, belemmeren het gebrek aan veelzijdigheid en data-efficiëntie hun praktische toepassingen. In dit werk stellen we LayoutPrompter voor, dat grote taalmodellen (LLM's) benut om de bovengenoemde problemen aan te pakken via in-context leren. LayoutPrompter bestaat uit drie belangrijke componenten, namelijk input-output-serialisatie, dynamische voorbeeldselectie en lay-outrangschikking. Specifiek ontwerpt de input-output-serialisatiecomponent zorgvuldig de input- en outputformaten voor elke lay-outgeneratietaak. Dynamische voorbeeldselectie is verantwoordelijk voor het selecteren van de meest nuttige promptvoorbeelden voor een gegeven input. En een lay-outrangschikker wordt gebruikt om de hoogste kwaliteit lay-out te selecteren uit meerdere outputs van LLM's. We voeren experimenten uit op alle bestaande lay-outgeneratietaken met behulp van vier openbare datasets. Ondanks de eenvoud van onze aanpak tonen experimentele resultaten aan dat LayoutPrompter kan concurreren met of zelfs de state-of-the-art benaderingen kan overtreffen op deze taken zonder enige modeltraining of fine-tuning. Dit toont de effectiviteit aan van deze veelzijdige en trainingsvrije aanpak. Daarnaast tonen de ablatiestudies aan dat LayoutPrompter aanzienlijk superieur is aan de trainingsgebaseerde baseline in een situatie met weinig data, wat verder wijst op de data-efficiëntie van LayoutPrompter. Ons project is beschikbaar op https://github.com/microsoft/LayoutGeneration/tree/main/LayoutPrompter.

English

Conditional graphic layout generation, which automatically maps user constraints to high-quality layouts, has attracted widespread attention today. Although recent works have achieved promising performance, the lack of versatility and data efficiency hinders their practical applications. In this work, we propose LayoutPrompter, which leverages large language models (LLMs) to address the above problems through in-context learning. LayoutPrompter is made up of three key components, namely input-output serialization, dynamic exemplar selection and layout ranking. Specifically, the input-output serialization component meticulously designs the input and output formats for each layout generation task. Dynamic exemplar selection is responsible for selecting the most helpful prompting exemplars for a given input. And a layout ranker is used to pick the highest quality layout from multiple outputs of LLMs. We conduct experiments on all existing layout generation tasks using four public datasets. Despite the simplicity of our approach, experimental results show that LayoutPrompter can compete with or even outperform state-of-the-art approaches on these tasks without any model training or fine-tuning. This demonstrates the effectiveness of this versatile and training-free approach. In addition, the ablation studies show that LayoutPrompter is significantly superior to the training-based baseline in a low-data regime, further indicating the data efficiency of LayoutPrompter. Our project is available at https://github.com/microsoft/LayoutGeneration/tree/main/LayoutPrompter.