/
并行文件系統(tǒng)詳解：元數(shù)據(jù)、條帶化和吞吐量
并行文件系統(tǒng)在高性能計(jì)算中至關(guān)重要，為數(shù)千個(gè)計(jì)算節(jié)點(diǎn)提供高聚合I/O帶寬和低延遲訪問。系統(tǒng)分為分條型和非分條型：非分條型在單節(jié)點(diǎn)存儲(chǔ)文件，元數(shù)據(jù)負(fù)擔(dān)較輕；分條型將文件分片存儲(chǔ)到不同節(jié)點(diǎn)，需維護(hù)分條映射信息。Dell Project Lightning項(xiàng)目通過專有客戶端驅(qū)動(dòng)實(shí)現(xiàn)極致并行性能。
Hammerspace憑借標(biāo)準(zhǔn)軟件在IO500性能測(cè)試中實(shí)現(xiàn)突破
Hammerspace在IO500基準(zhǔn)測(cè)試中取得突破，其標(biāo)準(zhǔn)Linux加NFS系統(tǒng)軟件實(shí)現(xiàn)了HPC級(jí)性能，無(wú)需專有并行文件系統(tǒng)的復(fù)雜性。在SC25的10節(jié)點(diǎn)生產(chǎn)環(huán)境測(cè)試中排名第18位，這是NFS系統(tǒng)有史以來最快的結(jié)果。該公司使用標(biāo)準(zhǔn)Linux、上游NFSv4.2客戶端和商用NVMe閃存實(shí)現(xiàn)了總分85.23的成績(jī)，證明HPC級(jí)性能不再需要專有客戶端或特殊文件系統(tǒng)。
GPU巨頭正在吞噬超級(jí)計(jì)算領(lǐng)域，傳統(tǒng)存儲(chǔ)難以滿足需求
超算領(lǐng)域正在分化，從統(tǒng)一的多處理器x86系統(tǒng)分裂為不同架構(gòu)，分別服務(wù)學(xué)術(shù)工作負(fù)載、極端物理模擬和AI訓(xùn)練需求。英偉達(dá)GPU革命徹底顛覆了傳統(tǒng)秩序。傳統(tǒng)存儲(chǔ)系統(tǒng)在AI隨機(jī)I/O風(fēng)暴下表現(xiàn)不佳，元數(shù)據(jù)占用20%的I/O操作。GPU集群規(guī)模擴(kuò)大至數(shù)千臺(tái)時(shí)，每秒GPU閑置時(shí)間都在消耗成本，存儲(chǔ)從支持功能轉(zhuǎn)變?yōu)楦?jìng)爭(zhēng)優(yōu)勢(shì)。
VDURA數(shù)據(jù)平臺(tái)推出快照和SMR支持功能，助力擴(kuò)展性和成本優(yōu)化
VDURA數(shù)據(jù)平臺(tái)第12版本通過擴(kuò)展元數(shù)據(jù)計(jì)算、添加系統(tǒng)級(jí)快照功能和支持疊瓦磁記錄硬盤來降低每TB成本。新版本引入彈性元數(shù)據(jù)引擎，可動(dòng)態(tài)擴(kuò)展元數(shù)據(jù)節(jié)點(diǎn)，將元數(shù)據(jù)操作性能提升最多20倍。快照功能支持即時(shí)的節(jié)省空間的數(shù)據(jù)集時(shí)點(diǎn)副本。SMR硬盤支持通過智能寫入放置引擎，在不影響吞吐量的情況下每機(jī)架增加25-30%容量。
PEAK:AIO押注開放pNFS技術(shù)挑戰(zhàn)Lustre文件系統(tǒng)
軟件定義高性能全閃存存儲(chǔ)公司PEAK:AIO正在采用并行NFS(pNFS)技術(shù)，從單節(jié)點(diǎn)系統(tǒng)向橫向擴(kuò)展產(chǎn)品演進(jìn)。該公司宣布將pNFS元數(shù)據(jù)軟件開源，旨在為HPC環(huán)境提供現(xiàn)代化文件系統(tǒng)替代方案。PEAK:AIO的單個(gè)2RU系統(tǒng)可實(shí)現(xiàn)320GB/s性能并支持線性擴(kuò)展，同時(shí)探索CXL技術(shù)以降低GPU訪問延遲，計(jì)劃構(gòu)建統(tǒng)一的塊、文件和對(duì)象協(xié)議系統(tǒng)。
高性能"孤兒"DAOS與Enakta Labs的復(fù)興之路
DAOS是英特爾Optane時(shí)代的并行文件系統(tǒng)產(chǎn)品，現(xiàn)已被英特爾拋棄。Enakta Labs等DAOS基金會(huì)成員正在重新激活這一高性能系統(tǒng)。DAOS曾在2023年IO500測(cè)試中獲得1.3TBps帶寬的頂級(jí)成績(jī)。作為開源并行文件系統(tǒng)，DAOS需要與Storage Scale、Lustre等成熟產(chǎn)品競(jìng)爭(zhēng)。Enakta Labs正在商業(yè)化DAOS，推出基于其的Enakta數(shù)據(jù)平臺(tái)產(chǎn)品，支持S3、SMB、NFS和PyTorch。該公司認(rèn)為DAOS憑借卓越性能和開源特性，有望在新興云服務(wù)商中獲得采用。
戴爾Project Lightning項(xiàng)目為PowerScale帶來并行性能提升
戴爾閃電項(xiàng)目為PowerScale集群文件系統(tǒng)存儲(chǔ)帶來并行化性能提升，早期測(cè)試反饋積極。該項(xiàng)目旨在為PowerScale和ObjectScale存儲(chǔ)系統(tǒng)添加并行訪問能力，實(shí)現(xiàn)97%網(wǎng)絡(luò)利用率和支持?jǐn)?shù)千個(gè)GPU。通過客戶端軟件層分布式讀取和RDMA技術(shù)，直接從客戶端訪問設(shè)備而無(wú)需遍歷文件系統(tǒng)，有望成為全球最快的并行文件系統(tǒng)，性能比競(jìng)爭(zhēng)系統(tǒng)高出2倍。
Google Cloud正式推出基于DDN技術(shù)的托管式Lustre文件系統(tǒng)
谷歌云正式發(fā)布基于DDN EXAScaler軟件的托管Lustre服務(wù)，專為AI、生成式AI和高性能計(jì)算應(yīng)用提供高速文件存儲(chǔ)。該服務(wù)支持高達(dá)1TBps的讀取吞吐量，延遲低于1毫秒，存儲(chǔ)容量可從18TiB擴(kuò)展至8PiB以上。具備POSIX兼容性，與谷歌云計(jì)算引擎、Kubernetes引擎和Vertex AI平臺(tái)原生集成，提供99.9%可用性保障。
VDURA瞄準(zhǔn)VAST、WEKA、DDN，以AI-HPC存儲(chǔ)重啟挑戰(zhàn)市場(chǎng)
VDURA公司完成重大轉(zhuǎn)型，將自己定位為與DDN、VAST Data和WEKA并列的AI和HPC高性能存儲(chǔ)解決方案提供商。該公司全面改造了原有PanFS軟件，推出基于微服務(wù)架構(gòu)的VDP數(shù)據(jù)平臺(tái)，結(jié)合并行文件系統(tǒng)的穩(wěn)定性能與對(duì)象存儲(chǔ)的彈性和成本效益。新平臺(tái)采用統(tǒng)一命名空間和單一控制平面，支持分層閃存-磁盤架構(gòu)。在美國(guó)聯(lián)邦項(xiàng)目競(jìng)標(biāo)中，VDURA憑借優(yōu)異的性能和TCO擊敗競(jìng)爭(zhēng)對(duì)手，證明了其在AI/HPC存儲(chǔ)基礎(chǔ)設(shè)施領(lǐng)域的競(jìng)爭(zhēng)實(shí)力。
Quobyte發(fā)布MLPerf存儲(chǔ)基準(zhǔn)測(cè)試成績(jī)挑戰(zhàn)存儲(chǔ)系統(tǒng)極限
Quobyte首次公布其在MLPerf存儲(chǔ)基準(zhǔn)測(cè)試中的表現(xiàn)，在關(guān)鍵的3D-Unet基準(zhǔn)測(cè)試中取得顯著優(yōu)勢(shì)。該測(cè)試專門評(píng)估存儲(chǔ)系統(tǒng)在模型訓(xùn)練時(shí)的數(shù)據(jù)供應(yīng)能力，對(duì)確保昂貴GPU充分利用至關(guān)重要。Quobyte使用8節(jié)點(diǎn)集群配置，成功支持每客戶端6個(gè)GPU達(dá)到90%效率，并聲稱是該測(cè)試中最快最高效的文件系統(tǒng)，在支持GPU數(shù)量、成本控制和能耗方面均表現(xiàn)出色。
- LinuxONE 客戶案例集錦
- IBM 存儲(chǔ)客戶案例集錦
- 智能超融合基礎(chǔ)設(shè)施 - HPE SimpliVity 解決方案
- 借助 HPE GreenLake 提供本地云體驗(yàn)解決方案
- 掌控全局 — 推動(dòng)業(yè)務(wù)創(chuàng)新：適用于 HPE SimpliVity 的 HPE 主動(dòng)式系統(tǒng)支持服務(wù)
- 實(shí)現(xiàn)居家辦公高效率解決方案
- 實(shí)現(xiàn)關(guān)鍵業(yè)務(wù)革新 - HPE Primera解決方案
- 搭配Nutanix的HPE GreenLake私有云解決方案
- 重新定義 HCI， 助其更上一層樓
- 適用于 VDI 的 HPE GreenLake - 本地云服務(wù)解決方案
京公網(wǎng)安備 11010802021500號(hào)
