Dutch
WEKA heeft de integratie van zijn NeuralMesh-platform met de NVIDIA STX referentiearchitectuur aangekondigd, waarmee zijn Augmented Memory Grid wordt gevestigd als een belangrijk bouwblok voor de volgende generatie AI-infrastructuur. De gecombineerde oplossing pakt een van de meest significante knelpunten aan in grootschalige inferentieomgevingen: geheugenbeperkingen die direct van invloed zijn op prestaties, totale eigendomskosten en schaalbare groei.
Via NeuralMesh breidt WEKA’s Augmented Memory Grid het GPU-geheugen uit door key-value caches te externaliseren en te persisteren. Wanneer ingezet met NVIDIA STX, levert deze architectuur high-throughput contextgeheugenopslag voor agentieve AI-workloads, ter ondersteuning van redenering met lange context over sessies, tools en end-to-end workflows. Volgens het bedrijf kunnen configuraties die NVIDIA Vera Rubin NVL72-systemen, BlueField-4 DPUs en Spectrum-X Ethernet combineren, de doorvoer van contextgeheugentokens met 4x tot 10x verhogen. Het platform zal naar verwachting ook een doorvoer van ten minste 320 GB/s lezen en 150 GB/s schrijven leveren, meer dan het dubbele van de prestaties van traditionele AI-opslagarchitecturen.
Geheugeninfrastructuur wordt het inferentieknelpunt
WEKA richt deze integratie op de groeiende uitdaging van de 'memory wall' in moderne AI-implementaties. Binnen de huidige inferentiepipelines dwingt beperkt GPU-geheugen met hoge bandbreedte frequente KV-cache-evicties af, wat leidt tot herhaaldelijke herberekeningen en verminderde operationele efficiëntie. Naarmate de systeemconcurrency toeneemt, vermenigvuldigen deze inefficiënties zich, waardoor de infrastructuurkosten stijgen en de voorspelbaarheid van prestaties afneemt.
Het bedrijf promoot gedeelde KV-cache-infrastructuur als de oplossing. Door persistente context over gebruikers en sessies te behouden, elimineert gedeelde caching redundante verwerking en stabiliseert het tokendoorvoer. NVIDIA STX biedt de gevalideerde referentiearchitectuur voor dit model, terwijl WEKA de opslag- en geheugenuitbreidingslaag levert.
NeuralMesh en Augmented Memory Grid Architectuur
NeuralMesh fungeert als WEKA’s gedistribueerde opslagplatform, gebouwd om naadloos te integreren met de volledige NVIDIA STX-stack. Het levert hoogwaardige data services geoptimaliseerd voor AI-workloads, terwijl het Augmented Memory Grid dient als een speciale geheugenuitbreidingslaag die KV-cache buiten het GPU-geheugen consolideert.
Dit ontwerp stelt inferentieomgevingen in staat om sessies met lange context te ondersteunen zonder GPU-resources te overbelasten. Door de cachestatus te behouden en hergebruik over workloads mogelijk te maken, handhaaft het platform een hoge benutting en consistente prestaties naarmate implementaties schalen.
WEKA merkt op dat het Augmented Memory Grid, voor het eerst onthuld op GTC 2025 en nu algemeen beschikbaar, is gevalideerd op NVIDIA Grace CPU-platforms in combinatie met BlueField DPUs. De architectuur levert meetbare winsten in inferentie-efficiëntie, waaronder een drastisch snellere 'time-to-first-token', hogere per-GPU tokendoorvoer en stabiele prestaties onder verhoogde concurrency. Het offloaden van het datapfad naar BlueField-4 vermindert ook de CPU-overhead en verlicht I/O-knelpunten.
Prestatie- en Efficiëntiewinsten
In productie-achtige omgevingen is het platform ontworpen om de responsiviteit en infrastructuurefficiëntie te verbeteren. WEKA stelt dat het Augmented Memory Grid de 'time-to-first-token' met 4x tot 20x kan verminderen, terwijl de per-GPU tokenoutput tot 6,5x wordt verhoogd. Deze verbeteringen komen voort uit hogere KV-cache-hitrates en minder herberekeningscycli, waardoor systemen prestaties kunnen handhaven naarmate contextgroottes en gebruikersaantallen toenemen.
Firmus, een aanbieder van AI-infrastructuur, wordt benadrukt als een vroege adoptant die NeuralMesh gebruikt met NVIDIA-gebaseerde infrastructuur. Het bedrijf rapporteert verbeterde tokendoorvoer en lagere latentie op schaal, met winsten die voortkomen uit efficiënter gebruik van bestaande GPU's in plaats van extra hardware-implementaties.
Implicaties voor AI-infrastructuurontwerp
Deze integratie benadrukt een verschuiving in het ontwerp van AI-systemen, waarbij geheugen- en opslagstrategieën steeds meer de algehele prestaties en kostenefficiëntie bepalen. Naarmate agentieve AI-workloads toenemen en contextvensters breder worden, worden DRAM-only benaderingen onhoudbaar vanwege stijgende herberekeningskosten en onderbenutte GPU's.
WEKA positioneert persistente, gedeelde KV-cache als een fundamentele mogelijkheid voor AI-fabrieken. Organisaties die dit model adopteren, kunnen een hogere GPU-benutting, lager energieverbruik per inferentaak en meer voorspelbare schaalbaarheid bereiken. Daarentegen zullen omgevingen die uitsluitend vertrouwen op lokaal GPU-geheugen waarschijnlijk te maken krijgen met stijgende operationele kosten en afnemende rendementen naarmate workloads groeien.
Beijing Qianxing Jietong Technology Co., Ltd.
Sandy Yang/Global Strategy Director
WhatsApp / WeChat: +86 13426366826
E-mail: yangyd@qianxingdata.com
Website: www.qianxingdata.com/www.storagesserver.com
Zakelijke focus:
Distributie van ICT-producten/Systeemintegratie & Diensten/Infrastructuuroplossingen
Met meer dan 20 jaar ervaring in IT-distributie werken we samen met toonaangevende wereldwijde merken om betrouwbare producten en professionele diensten te leveren.
“Technologie gebruiken om een intelligente wereld te bouwen”Uw vertrouwde ICT-productenserviceprovider!
Sandy Yang/Global Strategy Director
WhatsApp / WeChat: +86 13426366826
E-mail: yangyd@qianxingdata.com
Website: www.qianxingdata.com/www.storagesserver.com
Zakelijke focus:
Distributie van ICT-producten/Systeemintegratie & Diensten/Infrastructuuroplossingen
Met meer dan 20 jaar ervaring in IT-distributie werken we samen met toonaangevende wereldwijde merken om betrouwbare producten en professionele diensten te leveren.
“Technologie gebruiken om een intelligente wereld te bouwen”Uw vertrouwde ICT-productenserviceprovider!