/
混合專家架構 關鍵字列表
AI21 Labs 獲得來自 Google 和 Nvidia 的 3 億美元融資 拓展企業級 AI 產品
以色列 AI 初創公司 AI21 Labs 獲得谷歌和英偉達3億美元的 D 輪融資，進一步推進大型語言模型與企業級人工智能產品研發，總融資額達6.36億美元。
Meta發布Llama 4，新一代旗艦AI模型
Meta發布了Llama家族的新一代AI模型Llama 4，包括Scout、Maverick和Behemoth三個模型。這些模型在大量未標記的文本、圖像和視頻數據上進行訓練，具備廣泛的視覺理解能力。Llama 4采用混合專家架構，提高了計算效率。Meta表示，這標志著Llama生態系統新時代的開始，將為用戶帶來更強大的AI能力。
600GB顯存才能拉起來的Grok-1不太驚艷！馬斯克大模型企業xAI開源Grok-1，截止目前全球參數規模最大的MoE大模型！
馬斯克旗下大模型公司開發的Grok-1大語言模型已開源，采用Apache2.0協議。Grok-1是一個混合專家架構模型，參數總數3140億，每次推理激活860億。雖然在MMLU和GSM8K評測中表現不錯，但與同類模型相比資源消耗大而收益不顯著。開源的僅為推理代碼，訓練基礎設施和tokenizer的特殊token作用未透露。
白皮書
京公網安備 11010802021500號
