/
內存優化 關鍵字列表
Kioxia 開源 AiSAQ 技術以減少 RAG 中的 DRAM 使用量
Kioxia 發布開源 AiSAQ 技術，旨在降低生成式 AI 系統中的 DRAM 需求。該技術為 SSD 優化的近似最近鄰搜索算法，可直接在 SSD 上搜索，無需將索引數據放入 DRAM，從而實現檢索增強生成 (RAG) 的可擴展性能。這一創新有望大幅提升大規模 RAG 應用的性能范圍。
Microsoft 提出管理保留內存技術以應對 AI 工作負載
微軟研究人員提出了一種新的內存技術——管理保留內存 (MRM)，旨在解決 AI 基礎模型工作負載的存儲和 IO 問題。MRM 具有短期數據持久性，可優化 AI 推理性能，同時降低能耗和成本。這一創新概念有望填補現有內存-存儲層級中的空白，為 AI 時代的內存技術發展開辟新方向。
白皮書
京公網安備 11010802021500號
