De Groq 3 LPX-rack die Nvidia op GTC onthulde, zal naast NVL72-racks worden ingezet, met speciale capaciteit voor AI-afleidingen en agentische AI-werklasten.De Groq 3 LPX-rack kan maximaal 256 LPU-versnellers bevatten.Het rack levert tot 640 TB per seconde aan bandbreedte in totaal.En Nvidia merkt op dat het uiteindelijk zou kunnen schalen naar huis meer dan 11000 LPU's.
Het koppelen van een Groq 3 LPX rack met een Rubin NVL72 systeem stelt klanten in staat om een miljoen tokens te genereren voor slechts $45 op een 1 biljoen parameter GPT model met een 400k token context venster,Volgens NvidiaDat is 35 keer meer dan het NVL72 systeem zelf kan genereren.
Groq 3 LPU's zijn niet de enige nieuwe chips die Nvidia gebruikt om AI-afleidingscapaciteit te verhogen.Het bedrijf kondigde ook een speciaal rack aan voor zijn Vera CPU's, de ARM-gebaseerde processors gekoppeld aan twee Rubin GPU's om de superchips te bouwen in de kern van Nvidia's NVL72 en NVL8 systemen..
Aangezien CPU's een belangrijke knelpunt zijn geworden voor AI-afleidingen en agentische AI-werklasten, eisen bedrijven steeds meer CPU-bronnen.Nvidia heeft een standalone CPU-only rack gelanceerd, genaamd de Vera CPU Rack, met 256 Vera CPU's verbonden met 400 TB LPDDR5x-geheugen dat werkt met 300 TBps.
De Vera CPU Rack is ook uitgerust met een Spectrum-X Ethernet backbone en 64 BlueField-4 dataverwerkingseenheden (DPU's).Deze DPU's coördineren met GPU's in NVL72-systemen via Nvidia's NVLink-C2C-interconnect, die 1,8 TBps aan coherente bandbreedte levert, 7 keer de bandbreedte van PCIe Gen 6, per bedrijf.
Nvidia stelt dat het Vera-rack 22.500 gelijktijdige CPU-omgevingen kan ondersteunen, om aan de enorme CPU-vraag te voldoen die nodig is om AI-afleidingen en agentic-werklasten soepel uit te voeren.Het rack gebruikt vloeistofkoeling en is gebouwd op Nvidia's MGX-referentiearchitectuur, dat volgens het bedrijf wordt ondersteund door 80 ecosysteempartners, en zal worden gedistribueerd via het wereldwijde partnernetwerk van Nvidia.
Nvidia kondigde ook een nieuw rack vol BlueField-4 DPU's aan, een van de zeven nieuwe chips die Nvidia als de nieuwe AI-supercomputer toonde.De BlueField-4 STX is de eerste rack-scale implementatie van Nvidia's nieuwe CMX (context memory storage) platformHet heeft CMX in januari onthuld, en Nvidia's opslagpartners, zoals VAST Data,Het is een van de belangrijkste onderdelen van de CMX-opslag., beginnen het te gebruiken via de Nvidia STX-referentiearchitectuur.
De STX is een gedeelde laag met een hoge bandbreedte die is geoptimaliseerd voor het opslaan en ophalen van de enorme cache-gegevens met sleutelwaarde die worden gegenereerd door agentische workflows, zei Buck.Terwijl Nvidia het niet rechtstreeks zal leveren, we’re providing [the reference architecture] to all of our storage partners and the entire storage ecosystem so that they can build the next generation of storage for AI factories that has 4x the performance per watt, het verdubbelen van de pagina's per seconde voor bedrijfsdata en het leveren van 5x de tokens per seconde van het contextgeheugen dat nodig is voor AI-fabrieken die agentische workflows uitvoeren.
Cloudian, DDN, Dell Technologies, Everpure, Hitachi Vantara, HPE, IBM, MinIO, NetApp, Nutanix,en WEKA bouwen allemaal nieuwe opslag op de BlueField-4 STX referentie architectuur, zei Nvidia, terwijl bedrijven als CoreWeave, Crusoe, IREN, Lambda, Mistral AI, Nebius, Oracle Cloud Infrastructure (OCI) en Vultr het gebruiken.
In totaal presenteert Nvidia zeven nieuwe chips op GTC die elk een rol spelen bij het aansturen van AI in het Vera Rubin-platform.BlueField-4 DPU, Groq 3 LPU, en SpectrumX CPO, de nieuwe co-packaged optics Ethernet switch die 200 Gbps connectiviteit biedt via siliciumfotonica.En het is nu in productie., zei CEO Jensen Huang in zijn keynote.
Beijing Qianxing Jietong Technology Co., Ltd.
Sandy Yang, directeur Global Strategy
WhatsApp / WeChat: +86 13426366826
Email: yangyd@qianxingdata.com
Website: www.qianxingdata.com/www.storagesserver.com
Zaken:
Distributie van ICT-producten/Systeemintegratie en diensten/Infrastructuuroplossingen
Met meer dan 20 jaar IT-distributie-ervaring werken we samen met toonaangevende wereldwijde merken om betrouwbare producten en professionele diensten te leveren.
Technologie gebruiken om een intelligente wereld te bouwenUw betrouwbare ICT-productdienstverlener!
Uw bericht moet tussen de 20-3.000 tekens bevatten!
Dutch
