bedrijfsnieuws over Huawei's OceanStor KV-cacheopslag voor hyper-scale AI-datacenters

Huawei heeft de OceanStor M900 aangekondigd, een grootschalige, volledig flash-opslagcluster die een cachebasisniveau van maximaal 64 PB KV levert voor zijn Atlas 960 SuperPoD's;Rack-scale AI-versnellers vergelijkbaar met Nvidia's SuperPOD's.

Nvidia heeft een referentieontwerp gedefinieerd dat zijn GPU's, BlueField NIC's, Spectrum-X-switches en AI-software integreert met opslagsystemen, die GPUDirect, RDMA,en KV cache uitbreiding via zijn Dynamo software en CMX schemaDeze multi-tier architectuur gebruikt het GPU's high-bandwidth memory (HBM) als de snelste top-tier, gevolgd door de bijbehorende X86-servers, DRAM als niveau 2, de lokale SSD's van de server als L3,en intelligente BlueField-4 NIC-verbonden NVMe-SSD's in een flash-opslagserver die als L3 dient.5Deze kunnen een GPU's HBM bereiken in een enkele netwerkhop met microseconde latency.

Huawei gaat nu Nvidia's SuperPOD-ontwerp uitdagen met zijn eigen SuperPoD's gebouwd voor hyperscale AI datacenters.Dat betekent dat een enkel accelerator's high-bandwidth geheugen niet alle vereiste key-value tokens kan bevatten., waardoor een cache-mechanisme noodzakelijk is.

Het bedrijf stelt dat één Atlas 960E SuperPoD kan schalen tot 4.096 NPU's (Neural Processing Units), met 8 EFLOPS van FP8 rekenprestaties.tot 1 petabyte HBM-capaciteit en een 256 TB unified memory poolDe inzet van 5 500 Hi-ONE-eenheden die zijn uitgerust met UnifiedBus (NPO) vermindert het energieverbruik met meer dan 550 kilowatt in vergelijking met de 48.000 800G-optische modules die traditioneel nodig zijn om alle NPU's met elkaar te verbinden.Het verdubbelt tevens de foutloze bedrijfsduur van het systeem tot 990,8 procent systeem beschikbaarheid.

Huawei OceanStor M900
De SuperPoD gebruikt een multi-tier KV-caching framework, waarbij de M900 petabyte-schaal KV-cache levert voor de L3.5-laag.5 KV cachecapaciteit en 40 TB/sec totale bandbreedte via optische netwerken voor dit niveauHuawei beweert dat bij typische AI-afleidingsworkloads,Deze architectuur verdubbelt de token doorvoer van de inferentie cluster en verkort de tijd tot eerste token (TTFT) met de helft.

Het bedrijf merkt op dat de bandbreedte van 40 TB/sec 1,5 keer hoger is dan concurrerende oplossingen, zonder expliciet leveranciers te benoemen.MinIO- en VAST-gegevenssystemen met een clusterbandbreedte tussen 10 ‰ 25 TB/sec.

De M900 heeft een geïntegreerd ontwerp dat CPU, netwerkcontroller en NAND-controller combineert in één eenheid, waardoor SuperPoD-NPU's een directe, one-hop-verbinding met SSD's kunnen maken.Dit vermindert de toegangslatentie van milliseconden tot ongeveer 60 microseconden.

David Wang, vice-voorzitter van de raad van bestuur en roterende voorzitter van Huawei, zei: "OceanStor M900 maakt ook gebruik van hybride media en een geoptimaliseerd retentialgoritme, waardoor de levensduur van SSD-lees-/schrijfvermogen met 16 keer wordt verlengd.Dit zorgt voor een hogere KV cache hit rate naast langetermijn stabiliteit en betrouwbaarheid vanaf de grond.??

Huawei stelt dat de M900 beschikt over KV-bewuste adaptieve opslagtechnologie die de verwachte levensduur en waarde van elk segment van KV-cachegegevens voorspelt.het scheduleert en verdeelt gegevens over verschillende media niveausHuawei zegt dat deze geoptimaliseerde plaatsings- en opslagstrategie SSD's in staat stelt tot 24 schijfschrijven per dag (DWPD) te onderhouden, een bijzonder hoog cijfer.En verhoogt SSD-duurstand 16 keer., waardoor drie jaar stabiel gebruik mogelijk is met minder vervanging van de aandrijving.

Het is nog te vroeg voor Huawei om M900 databladen en technische briefings vrij te geven, dus details zoals de grootte van de node rack-eenheid, controllers, quantiteit en capaciteit,clusterknooppunt en andere specificaties zijn nog niet beschikbaar.

NPU voetnoot
NPU's zijn Huawei Ascend Neural Processing Units die volgens Huawei inheems zijn gebouwd voor AI (in tegenstelling tot GPU's die oorspronkelijk als grafische chips zijn ontstaan).Ze nemen Huawei's Da Vinci-architectuur over met Cube (matrix) kernen en Vector kernen, en ondersteunt lage-precisieformaten, waaronder FP8 en FP4, om inferentie en training voor grote modellen te versnellen.Ze kunnen worden uitgebreid tot duizenden of zelfs honderdduizenden NPU's die werken als één logische machine.Recente aanbiedingen zoals de Atlas 350 (met Ascend 950PR) en de aankomende Atlas 960 SuperPoD's worden gepositioneerd als alternatief voor Nvidia GPU's op de Chinese markt.

Beijing Qianxing Jietong Technology Co., Ltd.
Sandy Yang, directeur Global Strategy
WhatsApp / WeChat: +86 13426366826
Email: yangyd@qianxingdata.com
Website: www.qianxingdata.com/www.storagesserver.com
Zaken:
Distributie van ICT-producten/Systeemintegratie en diensten/Infrastructuuroplossingen
Met meer dan 20 jaar IT-distributie-ervaring werken we samen met toonaangevende wereldwijde merken om betrouwbare producten en professionele diensten te leveren.
“Technologie gebruiken om een intelligente wereld te bouwen”Uw betrouwbare ICT-productdienstverlener!