小藝是怎樣煉成的?華為端側大模型交卷
在這場大模型競賽中,華為走在了前列。
手機+大模型,這是當下最火熱的技術賽道之一。各大手機廠商誰也不想掉隊,紛紛推出自己的AI大模型。
比如vivo即將在開發者大會上揭曉搭載大模型的新機,OPPO已經啟動了基于AndesGPT大模型的新小布1.0 Beta版公測,小米也宣布將小愛同學升級為AI大模型,并招募測試用戶。
而在這場大模型競賽中,華為顯然走在了前列。早在8月初,華為在開發者大會上發布的新一代智能操作系統HarmonyOS 4就接入了AI大模型,小藝成為首個具有AI大模型能力的終端語音助手。
搭上大模型,語音助手終于“智能”了
這也是目前大模型與手機結合的主要方式,圍繞著語音助手做創新,讓它們更加智能。這一點,手機廠商們已經形成共識,華為率先交出了答卷。
華為在盤古L0大模型的基礎上,專門針對終端消費者場景中涉及的數據進行了精細的調優,構建出一個L1層對話模型,應用到了小藝身上。
華為形容,大模型版小藝“更聰明、更能干、更貼心”,這三個特點具體體現在以下幾個方面:
第一,智慧交互更聰明。過去,語音助手常被詬病語義理解困難、回答過于機械化。現在有了AI大模型的支持,小藝能夠通過自然語言對話理解并執行用戶的指令,而無需用戶說出標準的功能名稱。對于不熟悉手機操作的老人,這種適老化的設計提供了極大的便利。
小藝還可以處理更加復雜的場景編排任務,用戶可以一次性給出一系列指令。例如用戶說:“晚上12點后設置免打擾,但如果是媽媽來電讓我聽到,7點叫我起床,下雨則提前半小時叫醒,上午10點提醒我參加會議,中午12點到2點設為靜音。”小藝會經過邏輯推理后快速創建相應任務。
第二,高效工具更能干。大模型是一個提高生產力的工具,現在有了大模型的加持,小藝也可以幫助我們在平時的工作中提升效率。比如為用戶提供文本生成、摘要總結、多語種翻譯等功能,此前余承東就在微博分享了小藝生成的開發者大會文案。
用戶可以通過自然語言描述讓小藝快速查找文件或圖庫中的特定圖片,它還能識別圖片中的信息并提供相應服務,如識別海報上的活動地址并進行導航,或根據車輛照片識別車型。甚至,用戶給它一張表格圖片,小藝就能將數據整理為Excel文檔。
第三,私人助手更貼心。隨著小藝與用戶相處的時間越來越長,它就會越來越懂你,這是在語言理解能力和生產力之上更長足的進步。它能記錄你的瑣事和靈感,了解你的日常偏好和習慣,逐漸從通用變得專屬,成為一個真正的私人助手。
舉個例子,當你出去旅游,如果你愛看小說,路上小藝就會給你推小說閱讀,到了地方,如果你愛吃,它會給你推當地美食,如果你愛逛,它給你推當地景點。再往前一步,想象一下,如果日后小藝被應用到華為的全屋智能場景中,是不是有些賈維斯入戶的意思了。
把大模型放進手機分幾步
手機上使用大模型已經不是什么新鮮事了,像ChatGPT、文心一言都推出了APP,相信有很多人都嘗試過,但這些應用都是依賴云端算力。而現在的趨勢是,手機廠商正在努力使大模型直接在手機終端運行。這樣做的原因是什么?
一方面,隨著設備和數據流量的快速增長,以及數據中心成本的攀升,云端的算力需求變得越來越大,已經難以繼續滿足。而且,現代人們手機不離身,手機涉及到大量的個人信息。如果這些信息被上傳到云端,就會存在信息安全隱患。
因此,利用手機等終端的閑置算力資源,不僅可以為大模型提供更高效的運行環境,還能確保用戶數據的安全。此外,移動終端豐富的應用場景也為大模型提供了更多的應用可能性。
另一方面,手機終端本身也迫切需要大模型來提升用戶體驗。華為終端BG AI與智能全場景業務部總裁賈永利指出,大語言模型具備泛化能力,能夠幫助手機智能助手提升理解能力。另外,大模型Plug-in的插件能力,可以在手機內部打通各應用之間的壁壘,借助工具拓展能力。
所以,大模型與手機終端是“雙向奔赴”。
然而,大模型以其千億級的參數量和高昂的運行成本著稱,如何在功耗僅有幾瓦的手機上運行這樣的模型?
第一步,端云協同的混合架構是關鍵。模型訓練需要大量算力,適合在云端完成,而手機端主要負責推理,只需激活模型的部分模塊和神經元。簡單任務直接在手機端完成,復雜任務則調用云端資源。這種端云協同不僅需要端側模型處理個性化數據,還要考慮到端側的算力和功耗限制,從而依賴云側模型。這其中如何分配任務、協調配合、保護數據隱私等,都是對廠商技術的考驗。
以華為為例,小藝背后的大模型擁有端側和云側兩種形態,可以針對不同設備和場景的需求進行處理。端側大模型會對用戶請求和上下文信息做預處理,然后把需求發送到云端,最大化地發揮“端側快”和“云側強”的優勢。華為自研的通用大模型和自有云計算業務,為端云協同提供了基礎支撐。
第二步,升級手機操作系統,節能提效。大模型需要和手機操作系統深度結合,才能提供系統級的體驗。華為從底層重構了大模型與語音助手的協作系統,摒棄了過去多個系統獨立構建的“割裂”模式,讓大模型成為智慧系統的大腦,對系統進行全面增強。
華為終端業務軟件部總裁龔體表示,“相比傳統的PC或者服務器,移動終端最大的挑戰就是如何平衡好體驗和能耗,這是鴻蒙內核設計最重要的核心點之一。”華為在軟件系統上做了很多優化和協調,讓大模型在手機上運行更高效、更節能。
第三步,壓縮模型規模,降低算力需求。通過剪枝、量化和蒸餾等模型壓縮與加速技術,給大模型減重。然后再根據手機終端的特點和需求,讓大模型針對性學習數據和知識。比如華為就讓小藝重點學習了對話、設備操作、購物、生活常識等內容。并且還對提示詞和輸出格式進行了逐字分析和壓縮,將推理時延減少了一半。
為了讓大模型在用戶端得到廣泛應用,除了前述這些,背后還有許多技術和產業層面的挑戰需要攻克,但華為已經證明了它的可行性。
而且,近兩年全球智能手機市場低迷,大家都沒什么動力換新機。據Counterpoint Research最新數據,今年第三季度全球智能手機銷量同比下滑8%,創下十年來該季度的最低水平。
在這種情況下,手機廠商迫切需要一個新的賣點來吸引消費者,AI大模型的崛起為廠商提供了一個絕佳的機會。
本文章選自《AI啟示錄》雜志,閱讀更多雜志內容,請掃描下方二維碼