Dutch
Op de RAISE-top in Parijs toonde DDN zijn voortdurende samenwerking met Nebul, een Europese soevereine hybride cloudprovider, gericht op het verhogen van de efficiëntie voor grootschalige AI-afleidingsimplementaties.Vorige week onthuld., het gezamenlijke initiatief verenigt het inferentieplatform van Nebul, DDN's Infinia data intelligence architectuur en NVIDIA versnelde computing om een belangrijke productie AI knelpunt op te lossen:kosten voor gegevensverplaatsing en prestatiebeperkingen tijdens inferentiewerkbelastingen.
DDN omschrijft de samenwerking rond kritieke productiemetrics: GPU-uitbruik, token doorvoer, kosten per token en latency.de afleidingsmethode bepaalt de operationele en commerciële rendementenDe toenemende acceptatie van agentische AI, retrieval-augmented generation (RAG),en inferentie met een hoge concurentie betekent dat opslag- en data-infrastructuur rechtstreeks van invloed zijn op de efficiëntie van de versneller en de snelheid van AI-respons.
Dit actieve proof-of-conceptproject heeft veelbelovende resultaten opgeleverd.De partners hebben meetbare verbeteringen geboekt in time-to-first-token met KV-cache ingeschakeld en de validatie voor RoCE-gebaseerde infrastructuur voltooidDoorlopende benchmarking omvat langere afleidingsreekslengtes, waardoor een verder optimalisatiepotentieel voor het Infinia-platform ontstaat.De samenwerking breidt ook uit tot gezamenlijke inspanningen van NVIDIA op het gebied van benchmarking frameworks., schaalbaarheid verificatie, en aankomende technische publicaties.
Het geïntegreerde platform maakt gebruik van gedistribueerde KV-cachediensten, GPU-native databeweging, intelligente data-orkestratie en een hoogwaardige opslagarchitectuur.KV-cacheversnelling levert opmerkelijke inferentiewinsten door vooraf berekende aandachtstoestanden te bewaren en snel op te halen, redundante berekeningen te verminderen en dataleveringsvertragingen te elimineren die de GPU tot leegstand brengen.
Leiders van DDN, Nebul en NVIDIA benadrukten een grote verschuiving in de industrie: prioriteiten voor AI-infrastructuur verschuiven van ruwe GPU-implementatie naar operationele efficiëntie,maximaal rendement van de bestaande versnellingsapparatuur. DDN CEO Alex Bouzari and Nebul CEO Arnold Juffer noted that past focus on larger model scales has given way to optimizing inference economics to make production AI commercially viable via lower per-token costsRod Evans, VP Cloud Infrastructure van NVIDIA, voegde eraan toe dat grootschalige agentische werklasten nu het succes van de infrastructuur meten aan de hand van GPU-uitbruik en latentie, in plaats van puur rekenkracht.
DDN benadrukt dat AI-infrastructuur zich moet ontwikkelen buiten de basisopslagfuncties om AI-uitvoeringsworkflows actief te ondersteunen.De infrastructuurplatformen van het bedrijf leveren momenteel wereldwijd meer dan een miljoen GPU's., die hyperscalers, cloudproviders, bedrijven, overheden en onderzoeksinstellingen bedient.
Moderne AI-infrastructuurteams geven nu prioriteit aan deze kernproductiemetrics:
GPU-gebruik: meet de effectieve acceleratoractiviteit tijdens inferentie, waardoor de waarde van high-end GPU-hardware wordt gemaksimaliseerd.
Kosten per token: verbindt de prestaties van de infrastructuur rechtstreeks met de operationele kosten van de output van het AI-model.
Tokens per watt: Beoordeelt de energie-efficiëntie van AI-afleidingsopbrengsten.
Tijd voor eerste token: Bepaalt de reactievermogen van interactieve AI-toepassingen en de gebruikerservaring.
Tijd tot productie: Kwantificeert de operationele inspanningen om AI-diensten van testen naar schaalbare commerciële implementatie te migreren.
Aangezien inferentie de dominante AI-werklast wordt, leveren we gecacheerde context- en bedrijfsgegevens aan GPU's met een lage,Stabiele latentie is van cruciaal belang voor het behoud van een hoog GPU-gebruik en het beheersen van de operationele kosten op lange termijn..
Beijing Qianxing Jietong Technology Co., Ltd.
Sandy Yang, directeur Global Strategy
WhatsApp / WeChat: +86 13426366826
Email: yangyd@qianxingdata.com
Website: www.qianxingdata.com/www.storagesserver.com
Zaken:
Distributie van ICT-producten/Systeemintegratie en diensten/Infrastructuuroplossingen
Met meer dan 20 jaar IT-distributie-ervaring werken we samen met toonaangevende wereldwijde merken om betrouwbare producten en professionele diensten te leveren.
Technologie gebruiken om een intelligente wereld te bouwenUw betrouwbare ICT-productdienstverlener!
Sandy Yang, directeur Global Strategy
WhatsApp / WeChat: +86 13426366826
Email: yangyd@qianxingdata.com
Website: www.qianxingdata.com/www.storagesserver.com
Zaken:
Distributie van ICT-producten/Systeemintegratie en diensten/Infrastructuuroplossingen
Met meer dan 20 jaar IT-distributie-ervaring werken we samen met toonaangevende wereldwijde merken om betrouwbare producten en professionele diensten te leveren.
Technologie gebruiken om een intelligente wereld te bouwenUw betrouwbare ICT-productdienstverlener!