西班牙AI初創公司Multiverse Computing發布兩款超小型AI模型,分別命名為"雞腦"和"蒼蠅腦"。該公司聲稱這是全球最小的高性能模型,具備聊天、語音和推理能力。這些模型專為物聯網設備、智能手機和平板電腦設計,可在無網絡連接情況下本地運行。公司采用量子啟發的CompactifAI壓縮技術,在不犧牲性能的前提下大幅縮小模型體積。
隨著AI模型參數達到數十億甚至萬億級別,工程團隊面臨內存約束和計算負擔等共同挑戰。新興技術正在幫助解決這些問題:輸入和數據壓縮技術可將模型壓縮50-60%;稀疏性方法通過關注重要區域節省資源;調整上下文窗口減少系統資源消耗;動態模型和強推理系統通過自學習優化性能;擴散模型通過噪聲分析生成新結果;邊緣計算將數據處理轉移到網絡端點設備。這些創新方案為構建更高效的AI架構提供了可行路徑。
Multiverse Computing宣布完成2.15億美元B輪融資,用于加速部署其量子計算啟發的AI模型壓縮技術。該技術可將大語言模型體積縮小95%而不影響性能表現,大幅降低AI推理成本。公司的CompatifAI技術采用量子啟發算法和先進張量網絡,能識別并剔除AI模型中的冗余部分。壓縮后的模型運行速度提升4-12倍,推理成本降低50%-80%,可在云端、本地數據中心甚至邊緣設備上運行。
微軟團隊推出名為 BitNet b1.58 2B4T 的 2 億參數 1 位模型,通過將權重量化為 -1、0、1,實現了內存和運算效率的顯著提升,并能在 CPU(如蘋果 M2)上運行,但目前僅支持特定硬件。