MLPerf Storage v3.0 voegt een S3-datalayer toe aan het bestaande POSIX-framework, naast nieuwe KV Cache- en vector database-workloads, waardoor de benchmarkcriteria nauw aansluiten bij de vereisten van moderne AI-datasystemen.
De MLPerf Storage-benchmark, ontwikkeld door MLCommons, evalueerde oorspronkelijk de opslagprestaties voor machine learning-trainingsworkloads, waaronder Unet3D, Cosmoflow en Resnet50, met behulp van NVIDIA A100 en H100 GPU-hardware. De v3.0-release bevat een uitgebreide herstructurering van de tests, gecentreerd rond vier kernworkloads.
Het bijgewerkte testframework omvat AI-training op basis van Unet3D en RetinaNet, dat de maximale schaalbaarheid van accelerators meet met behoud van een bezettingsgraad van meer dan 90%, gesimuleerd op NVIDIA B200 of AMD MI355 GPU's. Het omvat ook checkpointing voor modellen in Llama 3-stijl, variërend van 8B tot 1,25T parameters, waarbij de nadruk ligt op lage latentie voor 10 rondes van iteratieve schrijfacties en leesacties. Bovendien bevat de suite vector database-tests op een Milvus-dataset van 1 miljoen dimensies met 1536 dimensies om de query-doorvoer te maximaliseren, terwijl latentie en recall-percentages worden bijgehouden, plus KV-cachetests om de maximale gelijktijdige gespreksondersteuningscapaciteit te meten.
Brian Belgodere, Co-voorzitter van de MLPerf Storage Working Group, verklaarde dat het nieuwe testportfolio de benchmarkdekking voor mainstream AI-inferentieopslagvraag verrijkt. De bijgewerkte suite balanceert trainingsgerichte trainings- en checkpointingtests met inferentie-georiënteerde KV-cache- en vector database-evaluaties. Door geïntegreerde AI-systemen op te splitsen in gerichte opslagworkloadevaluaties, waaronder checkpointing, KV-caching en vector query-verwerking, stelt de benchmark branchebeoefenaars in staat om AI-infrastructuurconfiguraties beter te optimaliseren en opslagprestatieknelpunten te elimineren.
De nieuw toegevoegde S3 object storage-laag ondersteunt trainings-, checkpointing- en gedeeltelijke vector database-tests, waarbij ongeveer een zesde van alle v3.0-inzendingen gebruik maakt van S3-gebaseerde opslagtoegang.
Curtis Anderson, een andere Co-voorzitter van de Working Group, merkte op dat nu de AI-context opschaalt naar biljoenen tokens, object storage naar voren komt als een levensvatbaar, zelfs verkieslijk alternatief voor traditionele bestandssysteemopslag. Native S3-ondersteuning in v3.0 biedt transparante prestatiestatistieken om beslissingen over de implementatie van enterprise-opslag te begeleiden.
In totaal 19 leveranciers hebben resultaten ingediend voor deze benchmarkcyclus. Met name grote traditionele enterprise storage-spelers, waaronder DDN, Dell, Huawei, IBM, NetApp, VAST Data en WEKA, ontbraken op de inzendingenlijst. MLPerf-functionarissen merkten op dat traditionele NAS-leveranciers beperkte deelname hebben, waarbij de meeste gevestigde spelers de laatste ronde overslaan.
Gezien het gediversifieerde AI-opslaglandschap, publiceert v3.0 geen enkele algehele ranglijst. In plaats daarvan levert het onafhankelijke resultaten voor de vier workloadcategorieën met multidimensionale metrics. De complete resultaatdataset omvat ongeveer 145 rijen en 55 kolommen, met in totaal bijna 8.000 datacellen, met 12 speciale kolommen exclusief voor KV-cacheprestatie-metrics. Deze omvatten doorvoer, lees/schrijfbandbreedte en P95-latentie onder zowel alleen opslag- als opslag+geheugenarchitecturen voor 8B en 70B Llama-modelworkloads.
MLCommons beveelt ook gestandaardiseerde prestatie-evaluatie aan op basis van per-rack-dichtheid en per-watt energie-efficiëntie om de algehele operationele effectiviteit van de infrastructuur te meten.
De bijgewerkte benchmarksuite bevat zeer complexe evaluatielogica, waardoor leveranciers selectief resultaten kunnen indienen voor gerichte workloads. Zo dienden alleen NewFW, Samsung, Suzhou Zishan en TTA resultaten in voor vector database-tests.
Everpure rapporteerde top-tier prestaties voor zijn FlashBlade//EXA bij checkpointing- en KV-cachetests voor modellen met 405B en 1,25T parameters. Geïmplementeerd op 30 datanodes ter ondersteuning van 1.024 gesimuleerde accelerators, behaalde het platform 877,52 GiB/s schrijfbandsbreedte (17,74s voltooiing) en 588,28 GiB/s leesbandbreedte (28,99s voltooiing) voor 1,25T model checkpointing. De prestaties schaalden lineair van 327,65 GiB/s schrijfdoorvoer op 10 nodes naar het piekresultaat van 30 nodes.
Aanvullende gegevens tonen aan dat on-premises checkpoint-schrijfinzendingen een mediane energie-efficiëntie van 14 GB/s per watt leverden, met een piek van 201 GB/s per watt. Ondertussen registreerden UNet3D-leestests een mediane efficiëntie van 34 GB/s per watt en een maximum van 277 GB/s per watt.
Beijing Qianxing Jietong Technology Co., Ltd.
Sandy Yang/Global Strategy Director
WhatsApp / WeChat: +86 13426366826
E-mail: yangyd@qianxingdata.com
Website: www.qianxingdata.com/www.storagesserver.com
Zakelijke focus:
ICT Productdistributie/Systeemintegratie & Services/Infrastructuuroplossingen
Met meer dan 20 jaar ervaring in IT-distributie werken we samen met toonaangevende wereldwijde merken om betrouwbare producten en professionele diensten te leveren.
“Technologie gebruiken om een intelligente wereld te bouwen”Uw vertrouwde ICT-productenserviceprovider!
Uw bericht moet tussen de 20-3.000 tekens bevatten!
Dutch
