亞信科技歐陽曄:用行業大模型破解企業AI落地難題
通用大模型對企業業務理解能力不足,會產生很大的幻覺或偏差,給出的答案并不能很好地支撐業務;此外,企業的數據通常會包含很多敏感信息,直接使用大模型會帶來數據泄露和隱私風險;運行和維護 LLM 需要專業知識和技術能力,給企業的IT基礎架構以及人員素質提出了更大的挑戰。
大模型技術日新月異,不斷取得重大突破——能夠很好地與人對話,識別人類意圖,推理與計算能力不斷增強、多模態使其能全方位“理解”世界。大模型(LLM)通過對大量數據的分析發現關聯找出規律,在處理如自然語言、圖像視覺、翻譯等方面取得了不亞于、甚至超越人類的表現。企業如能利用好LLM技術,幫助企業實現更好的預測,將在產品和服務創新、提質增效、提升決策水平、增強競爭力等方面具有廣闊的應用前景。
然而,由于通用大模型對企業業務理解能力不足,會產生很大的幻覺或偏差,給出的答案并不能很好地支撐業務;此外,企業的數據通常會包含很多敏感信息,直接使用大模型會帶來數據泄露和隱私風險;運行和維護 LLM 需要專業知識和技術能力,給企業的IT基礎架構以及人員素質提出了更大的挑戰。因此企業需要一個更理解企業業務場景、便于部署、安全且能讓業務人員輕松上手的行業大模型產品。
淵思大模型1-3-8產品架構,解決行業最后100米難題
為了避免企業重復建設、解決企業缺少速落地的方法和工具等難題,亞信科技通盤考慮了行業專屬、數據安全、持續迭代、綜合成本等因素,通過聚焦“平臺、模型、工具”三個層面,建立面向行業認知增強的XGPT產品體系,形成了淵思1-3-8的產品架構——即1個通用人工智能與認知增強平臺、3個行業大模型和8個認知增強工具。

“‘淵思’由《論語》中記載的孔子的兩位學生——顏淵和子思名字組合而成,意為:深入思考、尋根溯源、冷靜判斷,以此表現亞信科技行業大模型產品的特性和品質”。亞信科技首席科學家葉曉舟教授這樣介紹:“為了讓企業能夠擁有智能化MaaS底座和‘一站式’的企業級AI平臺,效彌合通用大模型與行業應用的鴻溝,能夠支持異構算力,實現全棧AI技術、開箱即用的MaaS(Model as a Service,模型即服務)服務,淵思·通用人工智能與認知增強平臺TAC MaaS應運而生。”
同時降低行業的訓練與微調大模型成本,基于TAC MaaS平臺首批發布了編程大模型、自智網絡大模型與智能運維大模型。淵思·編程大模型有34B與7B兩個版本,通過評測其代碼質量提升25%的,協作效率提升20%,開發人員的專治度提升50%,大幅提升編程生產效率;IT運維也是企業最重要但也是最頭痛的場景,淵思·智能運維大模型,通過6B的參數,可零活適配現場的算力,將運維問答準確率提升90%,讓現場工單人工處理量降低20%,通過感知、慧珍、自動調用運維工具和小模型,大幅降低故障排查處理時間,從原來的人工處理需要30分鐘,到現在的21秒,將工作效率提升一個數量級;在網絡智能化的場景下,自智網絡大模型提供了13B/6B兩個參數的版本,在通信網絡知識評測得分中,比ChatGPT提升45%,理解用戶意圖準確率達到92%,10分鐘內就可生成網絡質量的分析報告。可以幫助通信運營商自智網絡全面向L4 級加速演進。
針對企業應用的最后100米,亞信科技為企業提供了8個工具,便于嵌入到企業的具體流程和交互場景中,包括:業務智辦副駕ChatCRM、自智網絡副駕(AN CoPilot)、商業智能增強分析工具產品(ChatBI)、知識對話機器人(ChatBots)、圖靈程序員(TuringCoder)、智能運維副駕(Ops CoPilot)、數據管治副駕(DMG CoPilot)。
工程化能力:決定行業大模型成敗的關鍵

亞信科技首席技術官兼高級副總裁、IEEE Fellow歐陽曄博士
當前能提供行業大模型的廠商不在少數,很多企業也在利用開源的框架、開源的大模型利用RAG(信息增強檢索)的方式降低幻覺、提升模型準確度,然而提升效果并不明顯。在亞信科技首席技術官兼高級副總裁、IEEE Fellow歐陽曄博士看來:“不論是選擇行業大模型的供應商還是企業自研大模型,都在考驗產品的工程化能力與其帶來的商用價值。”
歐陽曄博士進一步解釋道:“首先體現在企業在本行業的數據積累,以及強化知識圖譜的能力。比如淵思·編程大模型,是亞信科技通過幾十年來在軟件開發領域積累的十幾億行代碼的數據對模型進行微調、不斷學習而來,自智網絡大模型和智能運維大模型除了利用RAG技術,更多地應用到強化知識圖譜的相關技術,通過知識圖譜能力結合通用大模型強化知識判別能力,提升大模型的精準度。其次,做好大小模型的融合,2000年以來,企業做了各種機器學習的模型、統計模型、挖掘模型,但今天大模型來了我們不是要丟掉這些小模型,而是充分發揮小模型里積累的數據、與流程業務結合,讓大、小模型協作才能解決用戶最后100米的問題。”
行業大模型的落地企業也更加關注最后的效果和最終的評估。歐陽曄博士表示,“每一個模型在客戶落地的時候都有一個從喂養運營到培育成熟的過程,一般看到效果要經歷3個月的優化和迭代時間,就可以得到很好的商用效果。這在亞信科技內部也充分得到驗證,這些大模型的面市不是做好了就直接交付給用戶,而是首先在亞信科技內部充分使用、不斷迭代。此外,評估模型也需要經過第三方的基準測試以及兼容性的測試認證。”
據了解,淵思大模型行已在70+企業得到部署和應用。亞信科技以其深厚的行業經驗和技術實力,為企業提供了一套完整的行業大模型解決方案,推動AI技術在各行各業的落地應用。亞信科技正以其敏銳的市場洞察力和創新精神,在AI浪潮中乘風破浪,為我國企業的數字化轉型貢獻力量。相信未來淵思大模型將會在更多領域發揮其價值,助力企業實現數智化轉型升級。
本文章選自《AI啟示錄》雜志,閱讀更多雜志內容,請掃描下方二維碼