MinIO heeft een MemKV-cachingsysteem op petabyteschaal ontwikkeld, op maat gemaakt voor Nvidia GPU's, geïmplementeerd bovenop zijn AIStor-objectopslagplatform.
GPU-clusters die inferentie uitvoeren, vereisen geheugen met hoge bandbreedte (HBM) om context, gevectoriseerde tokens en tussenliggende sleutelwaardeparen (KV) op te slaan. Zodra GPU HBM verzadigd is, stromen de gegevens naar CPU DRAM en NVMe SSD's, beheerd door Nvidia BlueField-4 (BF4) DPU's. Wanneer deze lagen de capaciteit bereiken, fungeert MinIO AIStor als de laatste opslagback-up. Nvidia's STX-architectuur bestuurt deze meerlaagse cachehiërarchie, en MemKV voldoet aan de standaard om persistente, gedeelde context over GPU-clusters op superieure schaal te leveren.
AB Periasamy, mede-oprichter en co-CEO van MinIO, merkte op: "De industrie houdt al jaren rekening met contextverlies omdat je op kleine schaal de herberekeningsbelasting kunt absorberen. Bij de huidige hoge GPU-dichtheid voor hyperscalers en neoclouds is dit niet langer haalbaar.
Het opnieuw berekenen van de gegenereerde context verspilt energie; voor clusters met duizenden GPU's creëert dit fundamentele structurele inefficiëntie. Grootschalige gevolgtrekkingen vereisen een speciaal gebouwde infrastructuur, en MemKV is speciaal ontworpen voor dit datapad.”
Voor het eerst maakt MinIO gedeelde contextpools mogelijk voor hele GPU-clusters met latentie op microsecondenniveau die overeenkomen met inferentieworkflows, waardoor vertragingen van milliseconden door conventionele externe opslag worden vermeden. Zonder voldoende cacheniveaus verspillen GPU's bronnen bij herhaalde herberekening van de context.
In een 128-GPU-implementatie met een contextlengte van 128.000 tokens verbeterde MemKV de tijd tot het eerste token onder productiebelasting en verhoogde het GPU-gebruik van 50% naar meer dan 90%, wat een jaarlijkse besparing op de rekenkosten van naar schatting $2 miljoen opleverde.
MemKV is speciaal gebouwd voor de Nvidia STX-architectuur en ondersteunt Nvidia Dynamo- en NIXL-cachingtools. Het levert petabytes aan gedeeld contextgeheugen tegen kosten op SSD-niveau, waardoor cache-schaling wordt losgekoppeld van GPU-rekenbronnen. De belangrijkste kenmerken ervan worden hieronder vermeld:
-
Native BF4 STX-ondersteuning: Draait als een binair ARM64-bestand binnen de STX-infrastructuur, ingebed in opslag in plaats van afzonderlijke x86-opslagservers.
-
End-to-end RDMA-transport: Brengt KV-cache over tussen GPU-geheugen en NVMe via RDMA, waarbij conventionele bestands- en objectopslagprotocollen worden omzeild.
-
GPU-geoptimaliseerde blokgrootte: Gebruikt blokken van 2-16 MB voor GPU-doorvoervereisten, in plaats van oudere opslagblokken van 4 KB.
-
Prestaties op draadsnelheid: Geoptimaliseerd voor Nvidia Spectrum-X Ethernet en PCIe Gen6 om de fysieke fabric-doorvoer te maximaliseren.
MemKV draagt rechtstreeks gegevens over van NVMe SSD's naar AI-pijplijnen via RDMA, waardoor HTTP-overhead, bestandssysteemvertaling en tussenopslagservers worden geëlimineerd.
MinIO categoriseert concurrerende contextgeheugenoplossingen in twee typen: niet-deelbare lokale NVMe (G3) en gedeelde opslag voor algemene doeleinden (G4). Het positioneert MemKV als een speciaal gebouwde G3.5-laag, die zich onderscheidt van generieke opslagproducten.
Het bedrijf benadrukt dat het G3.5-aanbod van oudere leveranciers nog steeds redundante protocolknooppunten, metadatadiensten en bestandsvertaallagen bevat. Deze lagen zorgen voor duurzaamheid en consistentie voor trainingsgegevens en modelgewichten, maar zijn niet nodig voor kortstondige, herberekenbare KV-cache die is geoptimaliseerd voor datablokken van 2–16 MB.
Hardware RAID-leverancier GRAID en opslagbedrijf WEKA bieden ook STX-compatibele KV-cache-oplossingen. Een breed scala aan opslagleveranciers ondersteunt Nvidia STX, waaronder Cloudian, Dell, DDN, Everpure, Hammerspace, Hitachi Vantara, HPE, Lightbits/ScaleFlux, NetApp, Nutanix, Peak:AIO, Pliops en VAST Data.
Peking Qianxing Jietong Technologie Co., Ltd.
Sandy Yang/directeur mondiale strategie
WhatsApp / WeChat: +86 13426366826
E-mail: yangyd@qianxingdata.com
Website: www.qianxingdata.com/www.storagesserver.com
Zakelijke focus:
ICT-productdistributie/Systeemintegratie en -diensten/Infrastructuuroplossingen
Met meer dan 20 jaar ervaring in IT-distributie werken we samen met toonaangevende wereldwijde merken om betrouwbare producten en professionele diensten te leveren.
“Technologie gebruiken om een intelligente wereld te bouwen”Uw vertrouwde ICT-productdienstverlener!
Uw bericht moet tussen de 20-3.000 tekens bevatten!
Dutch
