AI搜索提供商Perplexity開(kāi)發(fā)了新的軟件優(yōu)化技術(shù),讓萬(wàn)億參數(shù)大模型能在老舊、便宜的硬件上高效運(yùn)行,包括使用亞馬遜專有的彈性網(wǎng)絡(luò)適配器。這項(xiàng)創(chuàng)新解決了大規(guī)模專家混合模型面臨的內(nèi)存和網(wǎng)絡(luò)延遲挑戰(zhàn)。研究顯示,相比單節(jié)點(diǎn)配置,優(yōu)化后的核心程序在多節(jié)點(diǎn)部署中實(shí)現(xiàn)了顯著性能提升,使企業(yè)能更長(zhǎng)時(shí)間利用現(xiàn)有硬件,或使用折扣云實(shí)例運(yùn)行下一代前沿模型。
數(shù)字基礎(chǔ)設(shè)施公司Equinix發(fā)布"AI就緒骨干網(wǎng)",旨在通過(guò)連接全球平臺(tái)和新軟件層引導(dǎo)客戶進(jìn)入智能AI時(shí)代。該"分布式AI"基礎(chǔ)設(shè)施將統(tǒng)一77個(gè)市場(chǎng)的270多個(gè)數(shù)據(jù)中心,為多云AI工作負(fù)載提供更高可靠性。新的Fabric Intelligence軟件層將在按需全球互連平臺(tái)上提供實(shí)時(shí)感知和自動(dòng)化功能,幫助企業(yè)在AI訓(xùn)練和推理階段獲得更好的投資回報(bào)率。
Starburst公司開(kāi)發(fā)并使用開(kāi)源分布式SQL查詢引擎Trino來(lái)查詢和分析分布式數(shù)據(jù)源。CEO Justin Borgman認(rèn)為,在人工智能時(shí)代,能夠訪問(wèn)企業(yè)所有數(shù)據(jù)的公司將獲勝。Starburst正在擴(kuò)展其連接器,為AI提供全面的數(shù)據(jù)訪問(wèn)和治理服務(wù),并計(jì)劃在今年5月發(fā)布進(jìn)一步的AI相關(guān)功能。
DeepMind 研究人員提出了一種名為 Streaming DiLoCo 的新方法,可以在分布式環(huán)境中高效訓(xùn)練大型 AI 模型。該方法通過(guò)優(yōu)化參數(shù)同步和通信策略,顯著降低了帶寬需求,同時(shí)保持了模型性能。這一突破有望推動(dòng) AI 開(kāi)發(fā)的民主化,使更多機(jī)構(gòu)能夠參與大規(guī)模模型訓(xùn)練。
隨著生成式 AI 模型的爆炸性增長(zhǎng),單一數(shù)據(jù)中心已難以滿足其計(jì)算需求。未來(lái),AI 的持續(xù)發(fā)展可能依賴于跨越國(guó)家甚至大洲的新型超級(jí)計(jì)算機(jī)。這種分布式架構(gòu)將現(xiàn)有數(shù)據(jù)中心連接起來(lái),形成一個(gè)大型虛擬數(shù)據(jù)中心,以應(yīng)對(duì) AI 模型日益增長(zhǎng)的計(jì)算和能源需求。
浙江東方金融控股集團(tuán)股份有限公司作為浙江省國(guó)有上市金控平臺(tái),緊跟政府?dāng)?shù)字化改革要求,統(tǒng)一戰(zhàn)略體系,聚焦提高企業(yè)風(fēng)險(xiǎn)管控能力,完善資本管理,強(qiáng)化數(shù)字建設(shè)。