Ежедневные Исследовательские Статьи по ИИ

Ежедневно отобранные исследовательские статьи по ИИ с переводами

GaLore: Обучение памяти-эффективной модели языкового моделирования с помощью проекции градиента низкого ранга
GaLore: Memory-Efficient LLM Training by Gradient Low-Rank Projection

Jiawei Zhao, Zhenyu Zhang, Beidi Chen, Zhangyang Wang, Anima Anandkumar, Yuandong Tian•Mar 6, 2024•18915

SaulLM-7B: Первооткрывающая большая языковая модель для права
SaulLM-7B: A pioneering Large Language Model for Law

Pierre Colombo, Telmo Pessoa Pires, Malik Boudiaf, Dominic Culver, Rui Melo, Caio Corro, Andre F. T. Martins, Fabrizio Esposito, Vera Lúcia Raposo, Sofia Morgado, Michael Desa•Mar 6, 2024•876

ShortGPT: Слои в больших языковых моделях более избыточны, чем вы ожидаете
ShortGPT: Layers in Large Language Models are More Redundant Than You Expect

Xin Men, Mingyu Xu, Qingyu Zhang, Bingning Wang, Hongyu Lin, Yaojie Lu, Xianpei Han, Weipeng Chen•Mar 6, 2024•6521

PixArt-Σ: Обучение Diffusion Transformer от слабого к сильному для генерации текста в изображения разрешением 4K
PixArt-Σ: Weak-to-Strong Training of Diffusion Transformer for 4K Text-to-Image Generation

Junsong Chen, Chongjian Ge, Enze Xie, Yue Wu, Lewei Yao, Xiaozhe Ren, Zhongdao Wang, Ping Luo, Huchuan Lu, Zhenguo Li•Mar 7, 2024•421

Обучение совместному декодированию с несколькими языковыми моделями
Learning to Decode Collaboratively with Multiple Language Models

Shannon Zejiang Shen, Hunter Lang, Bailin Wang, Yoon Kim, David Sontag•Mar 6, 2024•226

Улучшение предварительного обучения видео-языковых моделей с использованием разнообразных методов надзора.
Enhancing Vision-Language Pre-training with Rich Supervisions

Yuan Gao, Kunyu Shi, Pengkai Zhu, Edouard Belval, Oren Nuriel, Srikar Appalaraju, Shabnam Ghadar, Vijay Mahadevan, Zhuowen Tu, Stefano Soatto•Mar 5, 2024•171

Прекратить регрессию: обучение функций ценности с помощью классификации для масштабируемого глубокого обучения с подкреплением
Stop Regressing: Training Value Functions via Classification for Scalable Deep RL

Jesse Farebrother, Jordi Orbay, Quan Vuong, Adrien Ali Taïga, Yevgen Chebotar, Ted Xiao, Alex Irpan, Sergey Levine, Pablo Samuel Castro, Aleksandra Faust, Aviral Kumar, Rishabh Agarwal•Mar 6, 2024•161

Кадуке́й: Двунаправленное эквивариантное моделирование длинных ДНК-последовательностей.
Caduceus: Bi-Directional Equivariant Long-Range DNA Sequence Modeling

Yair Schiff, Chia-Hsiang Kao, Aaron Gokaslan, Tri Dao, Albert Gu, Volodymyr Kuleshov•Mar 5, 2024•151

Политика трехмерной диффузии
3D Diffusion Policy

Yanjie Ze, Gu Zhang, Kangning Zhang, Chenyuan Hu, Muhan Wang, Huazhe Xu•Mar 6, 2024•141

Обратное отслеживание: Восстановление причины запроса
Backtracing: Retrieving the Cause of the Query

Rose E. Wang, Pawan Wirawarn, Omar Khattab, Noah Goodman, Dorottya Demszky•Mar 6, 2024•131