Ежедневные Исследовательские Статьи по ИИ

Ежедневно отобранные исследовательские статьи по ИИ с переводами

Введение в моделирование видео-языковых данных.
An Introduction to Vision-Language Modeling

Florian Bordes, Richard Yuanzhe Pang, Anurag Ajay, Alexander C. Li, Adrien Bardes, Suzanne Petryk, Oscar Mañas, Zhiqiu Lin, Anas Mahmoud, Bargav Jayaraman, Mark Ibrahim, Melissa Hall, Yunyang Xiong, Jonathan Lebensold, Candace Ross, Srihari Jayakumar, Chuan Guo, Diane Bouchacourt, Haider Al-Tahan, Karthik Padthe, Vasu Sharma, Hu Xu, Xiaoqing Ellen Tan, Megan Richards, Samuel Lavoie, Pietro Astolfi, Reyhane Askari Hemmat, Jun Chen, Kushal Tirumala, Rim Assouel, Mazda Moayeri, Arjang Talattof, Kamalika Chaudhuri, Zechun Liu, Xilun Chen, Quentin Garrido, Karen Ullrich, Aishwarya Agrawal, Kate Saenko, Asli Celikyilmaz, Vikas Chandra•May 27, 2024•904

Трансформеры могут выполнять арифметические операции с правильными вложениями.
Transformers Can Do Arithmetic with the Right Embeddings

Sean McLeish, Arpit Bansal, Alex Stein, Neel Jain, John Kirchenbauer, Brian R. Bartoldson, Bhavya Kailkhura, Abhinav Bhatele, Jonas Geiping, Avi Schwarzschild, Tom Goldstein•May 27, 2024•542

Мультимодельные модели Матрёшка
Matryoshka Multimodal Models

Mu Cai, Jianwei Yang, Jianfeng Gao, Yong Jae Lee•May 27, 2024•343

Zamba: Компактная гибридная модель SSM на 7 миллиардов параметров
Zamba: A Compact 7B SSM Hybrid Model

Paolo Glorioso, Quentin Anthony, Yury Tokpanov, James Whittington, Jonathan Pilault, Adam Ibrahim, Beren Millidge•May 26, 2024•256

NV-Embed: Улучшенные техники обучения LLM в качестве обобщенных моделей встраивания
NV-Embed: Improved Techniques for Training LLMs as Generalist Embedding Models

Chankyu Lee, Rajarshi Roy, Mengyao Xu, Jonathan Raiman, Mohammad Shoeybi, Bryan Catanzaro, Wei Ping•May 27, 2024•200

I2VEdit: Монтаж видео с направлением на первый кадр с помощью диффузии изображения в видео моделей
I2VEdit: First-Frame-Guided Video Editing via Image-to-Video Diffusion Models

Wenqi Ouyang, Yi Dong, Lei Yang, Jianlou Si, Xingang Pan•May 26, 2024•182

Human4DiT: Генерация видео с человекоподобным образом с использованием 4D диффузии трансформера
Human4DiT: Free-view Human Video Generation with 4D Diffusion Transformer

Ruizhi Shao, Youxin Pang, Zerong Zheng, Jingxiang Sun, Yebin Liu•May 27, 2024•170

Trans-LoRA: к параметру, обеспечивающему передачу данных без обучающего набора для эффективного донастройки.
Trans-LoRA: towards data-free Transferable Parameter Efficient Finetuning

Runqian Wang, Soumya Ghosh, David Cox, Diego Antognini, Aude Oliva, Rogerio Feris, Leonid Karlinsky•May 27, 2024•170

Взгляд в прошлое: Перевод потокового видео в видео с использованием банков признаков
Looking Backward: Streaming Video-to-Video Translation with Feature Banks

Feng Liang, Akio Kodaira, Chenfeng Xu, Masayoshi Tomizuka, Kurt Keutzer, Diana Marculescu•May 24, 2024•162

Коллаборативное видеораспространение: последовательная генерация многоканальных видео с управлением камерой
Collaborative Video Diffusion: Consistent Multi-video Generation with Camera Control

Zhengfei Kuang, Shengqu Cai, Hao He, Yinghao Xu, Hongsheng Li, Leonidas Guibas, Gordon Wetzstein•May 27, 2024•120

Часть123: Реконструкция трехмерных объектов с учетом их частей по изображению с одного ракурса
Part123: Part-aware 3D Reconstruction from a Single-view Image

Anran Liu, Cheng Lin, Yuan Liu, Xiaoxiao Long, Zhiyang Dou, Hao-Xiang Guo, Ping Luo, Wenping Wang•May 27, 2024•121

Дистилляция EM для моделей диффузии одного шага
EM Distillation for One-step Diffusion Models

Sirui Xie, Zhisheng Xiao, Diederik P Kingma, Tingbo Hou, Ying Nian Wu, Kevin Patrick Murphy, Tim Salimans, Ben Poole, Ruiqi Gao•May 27, 2024•121

Vidu4D: Однородное видео преобразуется в высококачественную 4D реконструкцию с динамическими гауссовыми сёрфелями.
Vidu4D: Single Generated Video to High-Fidelity 4D Reconstruction with Dynamic Gaussian Surfels

Yikai Wang, Xinzhou Wang, Zilong Chen, Zhengyi Wang, Fuchun Sun, Jun Zhu•May 27, 2024•123

LoGAH: Прогнозирование трансформеров с 774 миллионами параметров с использованием гиперсетей графов с 1/100 параметров.
LoGAH: Predicting 774-Million-Parameter Transformers using Graph HyperNetworks with 1/100 Parameters

Xinyu Zhou, Boris Knyazev, Alexia Jolicoeur-Martineau, Jie Fu•May 25, 2024•112

Жадный рост обеспечивает модели диффузии на основе пикселей высокого разрешения.
Greedy Growing Enables High-Resolution Pixel-Based Diffusion Models

Cristina N. Vasconcelos, Abdullah Rashwan Austin Waters, Trevor Walker, Keyang Xu, Jimmy Yan, Rui Qian, Shixin Luo, Zarana Parekh, Andrew Bunner, Hongliang Fei, Roopal Garg, Mandy Guo, Ivana Kajic, Yeqing Li, Henna Nandwani, Jordi Pont-Tuset, Yasumasa Onoe, Sarah Rosston, Su Wang, Wenlei Zhou, Kevin Swersky, David J. Fleet, Jason M. Baldridge, Oliver Wang•May 27, 2024•80