LayoutPrompter: Пробуждение дизайнерских способностей у крупных языковых моделей

LayoutPrompter: Awaken the Design Ability of Large Language Models

November 11, 2023

Авторы: Jiawei Lin, Jiaqi Guo, Shizhao Sun, Zijiang James Yang, Jian-Guang Lou, Dongmei Zhang

cs.AI

Аннотация

Генерация условных графических макетов, которая автоматически преобразует пользовательские ограничения в высококачественные макеты, сегодня привлекает широкое внимание. Хотя последние работы демонстрируют впечатляющие результаты, недостаток универсальности и эффективности использования данных ограничивает их практическое применение. В данной работе мы предлагаем LayoutPrompter, который использует большие языковые модели (LLM) для решения указанных проблем с помощью обучения в контексте. LayoutPrompter состоит из трех ключевых компонентов: сериализации входных и выходных данных, динамического выбора примеров и ранжирования макетов. В частности, компонент сериализации входных и выходных данных тщательно проектирует форматы ввода и вывода для каждой задачи генерации макетов. Динамический выбор примеров отвечает за подбор наиболее полезных примеров для заданного ввода. А ранкер макетов используется для выбора наилучшего макета из множества выходных данных LLM. Мы проводим эксперименты на всех существующих задачах генерации макетов с использованием четырех публичных наборов данных. Несмотря на простоту нашего подхода, результаты экспериментов показывают, что LayoutPrompter может конкурировать или даже превосходить современные методы на этих задачах без какого-либо обучения или тонкой настройки модели. Это демонстрирует эффективность универсального подхода, не требующего обучения. Кроме того, исследования с исключением компонентов показывают, что LayoutPrompter значительно превосходит базовые методы, основанные на обучении, в условиях ограниченного объема данных, что дополнительно подтверждает его эффективность в использовании данных. Наш проект доступен по адресу https://github.com/microsoft/LayoutGeneration/tree/main/LayoutPrompter.

English

Conditional graphic layout generation, which automatically maps user constraints to high-quality layouts, has attracted widespread attention today. Although recent works have achieved promising performance, the lack of versatility and data efficiency hinders their practical applications. In this work, we propose LayoutPrompter, which leverages large language models (LLMs) to address the above problems through in-context learning. LayoutPrompter is made up of three key components, namely input-output serialization, dynamic exemplar selection and layout ranking. Specifically, the input-output serialization component meticulously designs the input and output formats for each layout generation task. Dynamic exemplar selection is responsible for selecting the most helpful prompting exemplars for a given input. And a layout ranker is used to pick the highest quality layout from multiple outputs of LLMs. We conduct experiments on all existing layout generation tasks using four public datasets. Despite the simplicity of our approach, experimental results show that LayoutPrompter can compete with or even outperform state-of-the-art approaches on these tasks without any model training or fine-tuning. This demonstrates the effectiveness of this versatile and training-free approach. In addition, the ablation studies show that LayoutPrompter is significantly superior to the training-based baseline in a low-data regime, further indicating the data efficiency of LayoutPrompter. Our project is available at https://github.com/microsoft/LayoutGeneration/tree/main/LayoutPrompter.