盡管芯片廠(chǎng)商不斷推出性能更強(qiáng)的神經(jīng)處理單元,聲稱(chēng)比上代產(chǎn)品快30-40%,但大多數(shù)AI功能仍依賴(lài)云端處理。專(zhuān)家指出,云端AI模型擁有數(shù)千億參數(shù),而手機(jī)NPU只能處理約30億參數(shù)的模型。本地AI處理雖然在隱私保護(hù)和可靠性方面具有優(yōu)勢(shì),但受限于內(nèi)存容量和處理能力,目前主要應(yīng)用于特定場(chǎng)景。業(yè)界正致力于優(yōu)化模型壓縮技術(shù),實(shí)現(xiàn)云端與本地AI的混合處理模式。
總部位于圣地亞哥的AI公司耐能發(fā)布新一代KL1140芯片,這是首款能在邊緣端運(yùn)行完整變換器網(wǎng)絡(luò)的神經(jīng)處理單元。該芯片可將大語(yǔ)言模型從云數(shù)據(jù)中心轉(zhuǎn)移到便攜式本地設(shè)備中,四顆芯片組合可實(shí)現(xiàn)類(lèi)似GPU的性能,支持1200億參數(shù)模型運(yùn)行,功耗降低三分之一至一半,硬件成本減少十倍。
隨著AI技術(shù)快速發(fā)展,企業(yè)正將工作負(fù)載從云端拉回本地。工程師再次專(zhuān)注于速度問(wèn)題,通過(guò)邊緣計(jì)算減少延遲。邊緣計(jì)算將數(shù)據(jù)處理靠近數(shù)據(jù)源,顯著降低延遲;旌显瞥蔀樾纶厔(shì),不再是云端與邊緣的優(yōu)劣之爭(zhēng),而是針對(duì)特定工作負(fù)載選擇合適方案。在國(guó)防等關(guān)鍵任務(wù)領(lǐng)域,邊緣AI尤為重要,能夠在網(wǎng)絡(luò)中斷時(shí)保持系統(tǒng)正常運(yùn)行。
思科發(fā)布統(tǒng)一邊緣平臺(tái),這是一個(gè)專(zhuān)為分布式AI工作負(fù)載設(shè)計(jì)的去中心化網(wǎng)絡(luò)架構(gòu)。該平臺(tái)將計(jì)算、網(wǎng)絡(luò)、存儲(chǔ)和安全功能部署到更接近數(shù)據(jù)源的位置,支持實(shí)時(shí)AI推理。平臺(tái)提供零接觸部署和基于云的集中管理。思科還推出了適應(yīng)邊緣計(jì)算需求的新型服務(wù)器和路由器。分析師認(rèn)為,隨著AI智能體查詢(xún)產(chǎn)生的網(wǎng)絡(luò)流量比傳統(tǒng)聊天機(jī)器人高25倍,這種邊緣基礎(chǔ)設(shè)施變得至關(guān)重要。
IBM今日發(fā)布Granite 4 Nano系列超小型生成式AI模型,專(zhuān)為邊緣設(shè)備、終端和瀏覽器運(yùn)行而設(shè)計(jì)。該系列包含參數(shù)量從3.5億到15億不等的四個(gè)指令模型及其基礎(chǔ)版本。與大型模型相比,小型模型計(jì)算需求更低,可在筆記本、PC和移動(dòng)設(shè)備上運(yùn)行,提供更好的隱私安全性和離線(xiàn)訪(fǎng)問(wèn)能力。模型采用IBM開(kāi)發(fā)的混合架構(gòu),在多項(xiàng)基準(zhǔn)測(cè)試中表現(xiàn)優(yōu)于同規(guī)模競(jìng)品。
Cloudian宣布其超大規(guī)模AI數(shù)據(jù)平臺(tái)軟件可在AWS本地區(qū)域運(yùn)行,為客戶(hù)提供單位數(shù)毫秒級(jí)的對(duì)象數(shù)據(jù)訪(fǎng)問(wèn)延遲。該平臺(tái)主要面向企業(yè)文檔檢索增強(qiáng)生成應(yīng)用,支持AI代理理解和推理存儲(chǔ)在S3兼容格式中的完整文檔庫(kù)。通過(guò)結(jié)合高性能存儲(chǔ)與AWS GPU邊緣基礎(chǔ)設(shè)施,企業(yè)可在毫秒級(jí)響應(yīng)時(shí)間內(nèi)運(yùn)行復(fù)雜RAG應(yīng)用,無(wú)需前期投資。平臺(tái)集成矢量數(shù)據(jù)庫(kù),可自動(dòng)攝取、嵌入和索引多模態(tài)內(nèi)容。
意大利開(kāi)源嵌入式平臺(tái)提供商Arduino在都靈發(fā)布了基于高通芯片的新單板計(jì)算機(jī),同時(shí)宣布被美國(guó)芯片巨頭高通收購(gòu)。高通聲稱(chēng)此次合作將使其技術(shù)更易于開(kāi)發(fā)者使用,但實(shí)際上這是收購(gòu)而非合作。高通需要通過(guò)Arduino進(jìn)入邊緣AI和機(jī)器人領(lǐng)域,接觸個(gè)人開(kāi)發(fā)者、教育機(jī)構(gòu)和初創(chuàng)企業(yè)。然而作為被收購(gòu)方,Arduino已失去獨(dú)立性,未來(lái)很可能淪為高通的芯片銷(xiāo)售工具。
英偉達(dá)發(fā)布Jetson AGX Thor,這是面向機(jī)器人和物理設(shè)備的最強(qiáng)嵌入式AI計(jì)算機(jī)。新"機(jī)器人大腦"的AI性能比當(dāng)前Jetson AGX Orin模塊提升7.5倍,能效提升3.5倍。Thor采用最新Blackwell GPU架構(gòu)和14核Arm CPU,在130W功耗內(nèi)提供2070 FP4 TOPS算力。亞馬遜倉(cāng)儲(chǔ)機(jī)器人部門(mén)和波士頓動(dòng)力等早期采用者已開(kāi)始集成Thor,旨在實(shí)現(xiàn)更智能獨(dú)立的機(jī)器人應(yīng)用。
隨著AI和生成式AI的快速普及,組織在數(shù)據(jù)處理和應(yīng)用架構(gòu)方面面臨新挑戰(zhàn)。傳統(tǒng)集中式架構(gòu)難以滿(mǎn)足現(xiàn)代AI應(yīng)用的性能需求,推動(dòng)AI能力向數(shù)據(jù)生成和決策制定的邊緣位置轉(zhuǎn)移。邊緣AI部署面臨帶寬限制、GPU資源需求和運(yùn)營(yíng)復(fù)雜性等挑戰(zhàn)。F5應(yīng)用交付和安全平臺(tái)等解決方案通過(guò)統(tǒng)一控制和可視化管理,為分布式AI環(huán)境提供一致的安全策略和流量管理能力。
邊緣計(jì)算和網(wǎng)絡(luò)安全供應(yīng)商Acumera收購(gòu)了超融合基礎(chǔ)設(shè)施廠(chǎng)商Scale Computing,合并后的公司將沿用Scale Computing品牌。這一收購(gòu)使Scale Computing成為最后一家被收購(gòu)的獨(dú)立HCI廠(chǎng)商。合并后的公司將結(jié)合Acumera的邊緣網(wǎng)絡(luò)安全能力和Scale的虛擬化平臺(tái),為多站點(diǎn)客戶(hù)提供統(tǒng)一的邊緣計(jì)算解決方案,預(yù)計(jì)年收入達(dá)3500萬(wàn)美元。
人工智能芯片初創(chuàng)公司Hailo Technologies今日宣布推出第二代AI加速器Hailo-10H,具備強(qiáng)大的生成式AI功能。該芯片支持大語(yǔ)言模型、視覺(jué)語(yǔ)言模型等生成式架構(gòu),無(wú)需依賴(lài)云連接即可在設(shè)備上運(yùn)行。Hailo-10H功耗僅2.5瓦,可應(yīng)用于個(gè)人設(shè)備、智能家居、汽車(chē)和電信基礎(chǔ)設(shè)施等領(lǐng)域,實(shí)現(xiàn)首個(gè)令牌生成時(shí)間不到一秒,在2B參數(shù)模型上每秒處理超過(guò)10個(gè)令牌。
ITPro Today針對(duì)IT專(zhuān)業(yè)人士進(jìn)行的邊緣計(jì)算策略調(diào)查顯示,55%的受訪(fǎng)者對(duì)邊緣計(jì)算概念僅"有所了解",21%的組織IT預(yù)算中邊緣計(jì)算投資不足5%,而33%的組織至少投入10%。性能提升和安全性是采用邊緣計(jì)算的主要驅(qū)動(dòng)因素,分析和數(shù)據(jù)緩存是主要應(yīng)用場(chǎng)景。Microsoft Azure IoT Edge是最廣泛使用的邊緣平臺(tái),混合云-邊緣模型成為主流架構(gòu)。成本仍是邊緣計(jì)算采用的最大障礙。
智能網(wǎng)卡(SmartNIC)技術(shù)自2013年AWS首次應(yīng)用以來(lái),雖然獲得了VMware、英特爾、AMD和英偉達(dá)等巨頭支持,但市場(chǎng)表現(xiàn)平平。分析師指出,目前主要客戶(hù)仍局限于服務(wù)提供商。然而,隨著AI技術(shù)蓬勃發(fā)展,情況正在改變。英偉達(dá)、紅帽等廠(chǎng)商在AI云架構(gòu)中推薦使用DPU,認(rèn)為其可優(yōu)化推理工作負(fù)載并提升資源效率,AI革命有望真正推動(dòng)智能網(wǎng)卡技術(shù)普及。
谷歌DeepMind發(fā)布了名為Gemini Robotics On-Device的新語(yǔ)言模型,可在機(jī)器人上本地運(yùn)行任務(wù)而無(wú)需互聯(lián)網(wǎng)連接。該模型基于3月發(fā)布的Gemini Robotics模型構(gòu)建,能夠控制機(jī)器人動(dòng)作,開(kāi)發(fā)者可通過(guò)自然語(yǔ)言提示進(jìn)行控制和調(diào)優(yōu)。谷歌稱(chēng)其性能接近云端版本,在演示中展示了機(jī)器人執(zhí)行拆袋和折衣等任務(wù)。
研華科技近日發(fā)布全新品牌愿景"Edge Computing & WISE-Edge in Action",標(biāo)志著從傳統(tǒng)IPC時(shí)代正式邁入邊緣計(jì)算時(shí)代。
DataCore 通過(guò)收購(gòu)專(zhuān)注邊緣及分支辦公室超融合基礎(chǔ)設(shè)施(HCI)的 StarWind,結(jié)合強(qiáng)大軟件優(yōu)勢(shì)和虛擬 SAN 技術(shù),旨在為分布式網(wǎng)絡(luò)提供更靈活、經(jīng)濟(jì)和高效的存儲(chǔ)解決方案。
本文探討如何利用 F5 BIG-IP 平臺(tái)與 iRules 腳本,在邊緣實(shí)現(xiàn) ETL 任務(wù)優(yōu)化,降低延遲與成本,同時(shí)提升安全性與實(shí)時(shí)監(jiān)控,從而應(yīng)對(duì) AI 時(shí)代數(shù)據(jù)處理的挑戰(zhàn)。
StorMagic 新任 CEO Susan Odle 提出以邊緣虛擬化技術(shù)和全方位客戶(hù)支持為基礎(chǔ),推動(dòng)企業(yè)級(jí)邊緣部署增長(zhǎng),確保業(yè)務(wù)持續(xù)穩(wěn)定運(yùn)營(yíng)。
邊緣 AI 計(jì)算將使人形機(jī)器人、智能設(shè)備和自動(dòng)駕駛等應(yīng)用從數(shù)據(jù)中心和云端服務(wù)器解放出來(lái),轉(zhuǎn)移到制造車(chē)間、手術(shù)室和城市中心等場(chǎng)景。它能實(shí)現(xiàn)低延遲和自主決策,使 AI 無(wú)處不在,推動(dòng)工業(yè)設(shè)施全面自動(dòng)化,徹底改變商業(yè)和生活方式。邊緣 AI 正在快速發(fā)展,各大科技公司紛紛推出相關(guān)硬件和軟件平臺(tái),未來(lái)將為各行各業(yè)帶來(lái)巨大變革。
根據(jù)IDC最新研究報(bào)告顯示,邊緣計(jì)算正在重新定義企業(yè)如何利用實(shí)時(shí)數(shù)據(jù)和人工智能工作負(fù)載。預(yù)計(jì)到2028年,全球邊緣計(jì)算支出將達(dá)到3800億美元,年復(fù)合增長(zhǎng)率為13.8%。這一增長(zhǎng)主要由AI加速處理器、多接入邊緣計(jì)算 (MEC)、內(nèi)容分發(fā)網(wǎng)絡(luò) (CDN) 和虛擬網(wǎng)絡(luò)功能 (VNF) 等技術(shù)推動(dòng)。