Dutch
MinIO heeft MemKV uitgebracht, een speciale contextgeheugenopslagplaats die is gebouwd om een kritieke knelpunt binnen grootschalige AI-afleidingspijplijnen op te lossen.Als tweede vlaggenschipoplossing van MinIO naast AIStorMemKV breidt de data-infrastructuur van het bedrijf uit naar de geheugenlaag.
MinIO AIStor
Als AI-systemen vooruitgang boeken van eenmalige antwoorden naar meervoudig redeneren en geautomatiseerde taakuitvoering, is het steeds belangrijker geworden om een continue context te behouden in inferentiecycli.Onder bestaande architecturen, contextgegevens worden vaak weggegooid vanwege de beperkte capaciteit van GPU-naastgelegen geheugenniveaus, waaronder HBM en DRAM. Dit dwingt GPU's om herhaaldelijk bestaande context te berekenen, waardoor de latentie toeneemt,gebruik en energieverbruik berekenenMinIO definieert deze redundante werklast als de "recompute tax", een inefficiëntie die exponentieel verergert in hyperscale cloud-omgevingen.
MemKV is ontworpen om dit pijnpunt te verlichten via een gedeelde, persistente geheugenlaag die in staat is petabyte-schaal opslag met microseconde toegang latency.Door contextuele gegevens te bewaren tijdens inferentie workflows, het platform vermindert overbodige berekeningen en verhoogt de algemene efficiëntie van de infrastructuur.Interne benchmarkgegevens van MinIO verifiëren verbeterde time-to-first-token latency onder productiegraadconcurrentieIn een typische implementatie met 128 GPU's en 128K-tokencontextvensters is het GPU-gebruik gestegen van ongeveer 50% naar meer dan 90%, wat resulteert in aanzienlijke jaarlijkse kostenverlagingen.
MinIO's leidinggevenden verklaarden dat de recomputering overhead blijft onopvallend in kleinschalige implementaties maar verandert in een fundamentele structurele fout op bedrijfsniveau.herhaalde contextregeneratie leidt tot een hoger stroomverbruik en infrastructuurkosten, waardoor gespecialiseerde geheugensystemen onontbeerlijk zijn voor een duurzame werking van AI.
Het probleem van de geheugenschaal
Erfgoed AI-infrastructuur dwingt ontwikkelaars om een compromis te sluiten tussen toegankelijke snelheid en opslagcapaciteit.Hoogwaardige geheugenniveaus zoals HBM en DRAM leveren microseconde latentie, maar hebben strakke capaciteitslimieten en hoge kostenIn tegenstelling hiertoe bieden conventionele opslagsystemen een enorme schaalbaarheid, maar lijden ze onder een latentie van milliseconde, waardoor ze onverenigbaar zijn met real-time inferentie en lange-context redeneringstaken.
Micron HBM4
MemKV overbrugt deze kloof in de industrie door een tussenliggende gedeelde geheugenlaag in te voeren die een balans vormt tussen ultralage latentie en grote opslagscalabiliteit.Native compatibel met NVIDIA BlueField-4 STX en geïntegreerd met NVIDIA Dynamo naast NIXL-tools, stelt de oplossing volledige GPU-clusters in staat om toegang te krijgen tot een verenigde contextuele datapools met inferentie-afgestemde transmissie-snelheden.Dit ontwerp elimineert frequente contextgegevensmigratie tussen geïsoleerde geheugen- en opslaglagen, waardoor de latentie wordt verlaagd en de doorvoer van het systeem wordt verhoogd.
NVIDIA BlueField-4
Architectuur geoptimaliseerd voor inferentie-workloads
MemKV is exclusief ontworpen voor inferentie-datapipelines en past in de G3.5-laag van het GPU-geheugenhiërarchie-framework van MinIO.het bereikt een capaciteit van petabyte-niveau met behoud van microseconde toegangslatentie, het succesvol ontkoppelen van de schaalbaarheid van het geheugen van GPU-computatoren.
Het systeem laat de traditionele, omslappende opslagabstractie achterwege en overdraagt gegevens rechtstreeks van NVMe-stations naar AI-datapijplijnen via end-to-end RDMA-overdracht.Dit snijdt prestatie overhead gebracht door HTTP-protocollen, file system conversion en intermediate storage servers'common bottlenecks in object- en file-based storage architecturen.
Bron: Google
Belangrijke architectonische optimalisaties omvatten native ARM64 binaire uitvoering op NVIDIA BlueField-4 STX, rechtstreeks ingebed in de opslaglaag om de afhankelijkheid van externe x86-opslagnodes te verminderen.Alle gegevensoverdrachten tussen GPU-geheugen en NVMe-opslag nemen RDMA-transmissie aanBovendien maakt MemKV gebruik van vergrote blokgroottes variërend van 2 MB tot 16 MB,die zijn geoptimaliseerd voor GPU-doorvoerkenmerken in plaats van de oude 4 KB-opslagblokkenHet ondersteunt geavanceerde high-speed interconnection-fabrieken zoals NVIDIA Spectrum-X Ethernet en PCIe Gen6, waardoor bijna draadsnelheidsgegevensoverdracht over clusters wordt vergemakkelijkt.
Beschikbaarheid
MinIO MemKV is nu commercieel beschikbaar voor bedrijfsimplementatie.
Beijing Qianxing Jietong Technology Co., Ltd.
Sandy Yang, directeur Global Strategy
WhatsApp / WeChat: +86 13426366826
Email: yangyd@qianxingdata.com
Website: www.qianxingdata.com/www.storagesserver.com
Zaken:
Distributie van ICT-producten/Systeemintegratie en diensten/Infrastructuuroplossingen
Met meer dan 20 jaar IT-distributie-ervaring werken we samen met toonaangevende wereldwijde merken om betrouwbare producten en professionele diensten te leveren.
Technologie gebruiken om een intelligente wereld te bouwenUw betrouwbare ICT-productdienstverlener!
Sandy Yang, directeur Global Strategy
WhatsApp / WeChat: +86 13426366826
Email: yangyd@qianxingdata.com
Website: www.qianxingdata.com/www.storagesserver.com
Zaken:
Distributie van ICT-producten/Systeemintegratie en diensten/Infrastructuuroplossingen
Met meer dan 20 jaar IT-distributie-ervaring werken we samen met toonaangevende wereldwijde merken om betrouwbare producten en professionele diensten te leveren.
Technologie gebruiken om een intelligente wereld te bouwenUw betrouwbare ICT-productdienstverlener!