每日精选AI研究论文及翻译
我们提出了一种可扩展的方法，通过自动为人类编写的文本标记相应的指令，构建高质量的指令跟踪语言模型。我们的方法名为指令回译，首先使用在少量种子数据和给定网络语料库上微调的语言模型，开始。种子模型用于通过为网络文档生成指令提示（自我增强），从中选择高质量的示例（自我筛选）来构建训练示例。然后使用这些数据对模型进行微调。在我们方法的两次迭代中微调LLaMa，得到一个模型，其性能优于Alpaca排行榜上所有其他基于LLaMa的模型，而无需依赖蒸馏数据，展示了高度有效的自对齐。
随着功能日益强大的大型语言模型的出现，人们对利用这些模型进行日常对话和角色扮演应用产生了浓厚兴趣。然而，现有的对话和角色扮演数据集通常无法捕捉到真实角色扮演参与者通常展示的多样化和微妙的互动。为了解决这一局限并为这个快速增长的领域做出贡献，我们介绍了一个部分合成的数据集，名为PIPPA（人与人工智能之间的个人互动对）。PIPPA是社区驱动的众包努力的结果，涉及一群角色扮演爱好者。该数据集包括分布在26,000个对话会话中的超过100万个话语，为研究人员和人工智能开发人员提供了丰富的资源，以探索和完善在角色扮演场景中的对话人工智能系统。
训练最先进的神经网络需要大量的计算资源和时间成本。模型规模被认为是实现和改进最先进水平的关键因素。增加神经网络的规模通常需要从头开始，通过随机初始化模型的所有参数，因为这意味着对架构参数的更改，不允许从较小规模模型直接转移知识。在这项工作中，我们提出了六种可组合的转换方式，逐步增加基于Transformer的神经网络的规模，同时保持功能性，从而允许根据需要扩展模型的容量。我们为每种转换提供了确保在最小初始化约束条件下精确保留功能的证明。所提出的方法可以通过在训练过程中逐步扩展架构，为更大更强大的模型提供高效的训练流程。
大型语言模型（LLMs）的巨大成功鼓舞了对LLM增强自主代理（LAAs）的新探索。LAA能够利用其核心LLM生成动作并与环境进行交互，从而通过根据过去的交互（如观察和动作）来解决复杂任务。由于对LAA的研究仍然非常新颖，可用的探索有限。因此，我们全面比较了LAA的代理架构和LLM骨干。此外，我们提出了一种新策略，以协调多个LAA，使每个劳动LAA专注于一种类型的动作，即BOLAA，其中控制器管理多个代理之间的通信。我们在决策制定和多步推理环境中进行了模拟，全面验证了LAAs的能力。我们的性能结果为设计LAA架构和LLM的最佳选择以及两者的兼容性提供了定量建议。我们将LAA的实现代码发布给公众，网址为https://github.com/salesforce/BOLAA。
过去一年在基于文本提示的图像生成方面取得了惊人的进展，其基础是跨模态表示空间的概念，其中文本和图像领域共同表示。在自动语音识别中，这一思想被应用为联合语音文本编码器，可以通过在未配对的语音和文本上进行训练来扩展非常大参数模型的容量。虽然这些方法显示出潜力，但它们需要特殊处理语音和文本之间固有的序列长度不匹配问题，要么通过上采样启发式方法，要么通过显式对齐模型。在这项工作中，我们提供证据表明，联合语音文本编码器通过忽略序列长度自然地实现跨模态一致表示，并认为一致性损失可以弥补长度差异，并简单地假定最佳对齐。我们展示这样的损失改善了大参数单语和多语言系统中的下游词错误率。
分析网络拓扑和通信图在当代网络管理中起着至关重要的作用。然而，缺乏一种统一的方法会导致学习曲线陡峭，错误率增加，效率降低。本文介绍了一种新方法，旨在促进基于自然语言的网络管理体验，利用大型语言模型（LLMs）从自然语言查询中生成特定任务的代码。该方法通过允许网络操作员检查生成的代码来解决可解释性、可扩展性和隐私性方面的挑战，消除了与LLMs共享网络数据的需求，并集中于结合通用程序合成技术的应用特定请求。我们设计并评估了一个原型系统，使用基准应用展示了高准确性、成本效益以及利用互补程序合成技术进一步增强的潜力。