每日精選AI研究論文及翻譯
儘管開源大型語言模型（LLM）及其變體，例如LLaMA和Vicuna，已取得重大進展，但在執行較高層次任務時仍存在明顯限制，例如遵循人類指令使用外部工具（API）。這是因為目前的指令調整主要集中在基本語言任務而非工具使用領域。這與最先進的LLM（如ChatGPT）形成對比，後者展示出出色的工具使用能力，但遺憾的是其為封閉源碼。為了促進開源LLM的工具使用能力，我們引入了ToolLLM，這是一個通用的工具使用框架，包括數據構建、模型訓練和評估。我們首先提出了ToolBench，這是一個用於工具使用的指令調整數據集，使用ChatGPT自動創建。具體來說，我們從RapidAPI Hub收集了16,464個涵蓋49個類別的真實世界RESTful API，然後提示ChatGPT生成涉及這些API的多樣人類指令，包括單工具和多工具情境。最後，我們使用ChatGPT為每個指令尋找有效解決方案路徑（API調用鏈）。為了使搜索過程更有效，我們開發了一種基於深度優先搜索的決策樹（DFSDT），使LLM能夠評估多個推理軌跡並擴展搜索空間。我們展示DFSDT顯著增強了LLM的規劃和推理能力。為了進行有效的工具使用評估，我們開發了一個自動評估器：ToolEval。我們在ToolBench上對LLaMA進行微調，得到ToolLLaMA。我們的ToolEval顯示，ToolLLaMA展現出執行複雜指令和對未見API進行泛化的卓越能力，並表現出與ChatGPT相當的性能。為了使流程更實用，我們設計了一個神經API檢索器，為每個指令推薦適當的API，消除了手動選擇API的需求。
本研究旨在降低大型語言模型（LLMs）的端到端生成延遲。高生成延遲的主要原因之一是幾乎所有最先進的LLMs所採用的順序解碼方法。在這項工作中，受到人類思考和寫作過程的啟發，我們提出了“思維骨架”（SoT），該方法引導LLMs首先生成答案的骨架，然後進行並行API調用或批次解碼，以並行方式完成每個骨架點的內容。SoT不僅提供了顯著的加速（在11種不同的LLMs中高達2.39倍），而且還可能在幾個問題類別上提高答案的多樣性和相關性。SoT是針對效率的數據中心優化的初步嘗試，揭示了將LLMs推向更像人類思考以提高答案質量的潛力。
從人類反饋中進行強化學習（RLHF）是一種訓練人工智慧系統以符合人類目標的技術。RLHF已成為微調最先進大型語言模型（LLMs）的主要方法。儘管廣受歡迎，但相對較少有公開的工作系統化其缺陷。本文（1）調查RLHF及相關方法的開放問題和基本限制；（2）概述了了解、改進和補充實踐中的RLHF的技術；以及（3）提出審計和披露標準，以提高社會監督RLHF系統的能力。我們的工作強調了RLHF的限制，並凸顯了開發更安全人工智慧系統的多方面方法的重要性。
醫學本質上是一個多面向的領域，需要在各種模式之間綜合信息。醫學生成式視覺語言模型（VLMs）在這方面邁出了第一步，並承諾許多令人興奮的臨床應用。然而，現有模型通常需要在龐大的下游數據集上進行微調，這構成了一個重要限制，因為在許多醫學應用中，數據稀缺，需要能夠實時從少量示例中學習的模型。在這裡，我們提出了Med-Flamingo，這是一個適應於醫學領域的多模式少樣本學習器。基於OpenFlamingo-9B，我們繼續在來自出版物和教科書的醫學圖像-文本配對和交錯數據上進行預訓練。Med-Flamingo發揮了少樣本生成式醫學視覺問答（VQA）的能力，我們在多個數據集上進行評估，包括一個新的具有挑戰性的開放式VQA數據集，其中包含視覺USMLE風格問題。此外，我們對生成式醫學VQA進行了首次人類評估，醫生們在交互式應用程序中審查問題和盲目生成。Med-Flamingo在醫學生成式VQA中的表現提高了高達20％的臨床評分，並首次實現了多模式醫學少樣本適應，例如理由生成。我們在https://github.com/snap-stanford/med-flamingo 下發布了我們的模型、代碼和評估應用程序。
在一個共同的視覺-語言空間中，一個文本特徵（例如，來自“一張狗的照片”）可以有效地代表其相關的圖像特徵（例如，來自狗的照片）。受此啟發，我們提出了PromptStyler，通過合成各種風格來模擬聯合空間中的各種分布變化，而無需使用任何圖像來應對無源領域泛化。我們的方法通過可學習的風格詞向量為偽詞S*生成各種風格特徵（來自“一個S*風格的a”）。為了確保學習到的風格不會扭曲內容信息，我們強制風格-內容特徵（來自“一個S*風格的a [類別]”）位於它們對應的內容特徵（來自“[類別]”）附近在共同的視覺-語言空間中。在學習風格詞向量後，我們使用合成的風格-內容特徵來訓練一個線性分類器。PromptStyler在PACS、VLCS、OfficeHome和DomainNet上實現了最先進的效果，儘管不需要任何圖像，並且僅需約30分鐘的時間在單個GPU上進行訓練。
我們提出了一種方法，可以在自回歸語言模型中植入水印，使其對干擾具有強韌性，同時在特定最大生成預算範圍內不改變文本分佈。我們通過將一系列隨機數映射到語言模型的樣本來生成帶水印的文本，這些隨機數是使用隨機水印密鑰計算的。要檢測帶水印的文本，任何知道該密鑰的一方都可以將文本與隨機數序列對齊。我們使用兩種抽樣方案實例化了我們的水印方法：逆變換抽樣和指數最小抽樣。我們將這些水印應用於三個語言模型 — OPT-1.3B、LLaMA-7B 和 Alpaca-7B — 以實驗驗證它們的統計功效和對各種改寫攻擊的強韌性。值得注意的是，對於 OPT-1.3B 和 LLaMA-7B 模型，我們發現即使在通過隨機編輯（即替換、插入或刪除）損壞了40-50％的標記後，我們仍然可以可靠地檢測到帶水印的文本（p ≤ 0.01），標記長度為35個標記。對於 Alpaca-7B 模型，我們對對典型用戶指令的回應進行了一個案例研究，由於回應的熵較低，檢測更加困難：約25％的回應（其中位數長度約為100個標記）可以在 p ≤ 0.01 的情況下檢測到，並且水印對我們實施的某些自動改寫攻擊也不夠強韌。
指令調整已成為增強大型語言模型以遵循人類指令的一種有前途的方法。研究表明，在訓練數據中增加指令的多樣性和數量可以持續增強泛化性能，這有助於最近的一項努力，即收集各種指令並將現有的指令調整數據集整合到更大的集合中。然而，不同用戶有其獨特的表達指令方式，而不同數據集之間的指令風格和格式通常存在變化，即格式不一致性。在這項工作中，我們研究了格式不一致性如何影響指令調整的性能。我們提出了一個名為「統一指令調整」（UIT）的框架，該框架調用 OpenAI API 在不同的指令調整數據集之間進行自動格式轉換。我們展示了 UIT 成功提高了對未見指令的泛化性能，突顯了格式一致性對指令調整的重要性。為了使 UIT 框架更實用，我們進一步提出了一種基於困惑度的新型去噪方法，以減少自動格式轉換的噪音。我們還訓練了一個較小的離線模型，其實現了與 OpenAI API 相當的格式轉換能力，以在實踐中降低成本。
隨著隱式神經表示法或神經輻射場（NeRF）的普及，迫切需要編輯方法來與隱式3D模型進行互動，以進行後處理重建場景和3D內容創作等任務。雖然先前的研究從不同角度探索了NeRF的編輯，但在編輯靈活性、質量和速度方面存在限制，無法提供直接的編輯響應和即時預覽。關鍵挑戰在於構想一種可在本地進行編輯的神經表示法，能夠直接反映編輯指令並立即更新。為彌合這一差距，我們提出了一種新的互動式編輯方法和系統，稱為Seal-3D，允許用戶以像素級和自由的方式編輯NeRF模型，具有廣泛的NeRF-like骨幹，並即時預覽編輯效果。為實現這些效果，我們提出的代理函數將編輯指令映射到NeRF模型的原始空間，並採用師生訓練策略進行局部預訓練和全局微調以應對挑戰。建立了一個NeRF編輯系統來展示各種編輯類型。我們的系統可以在約1秒的互動速度下實現引人入勝的編輯效果。