bedrijfsnieuws over Inferra is Lightbits' inferencing memory wall buster

Ik heb de volledige tekst gecomprimeerd door8% aantal woorden, heeft alle kernfeiten, benchmarks, offertes en technische logica behouden en alle koppelingen verwijderd:

Lightbits Inferra-software versnelt KV-cache-operaties, breekt de geheugenmuur van AI-afleidingen en verbetert het GPU-gebruik drastisch.Het high-performance block storage bedrijf bouwde Inferra om GPU high-bandwidth memory (HBM) te virtualiserenEen KV-cache slaat vooraf berekende aandachtssleutels en waarden op tijdens LLM-afleidingen, waardoor redundante herberekening van sequentiegegevens wordt vermeden en de generatieve AI-prestaties worden verbeterd.

Eenmaal HBM verzadigd is, worden bestaande KV-paren voor nieuwe gegevens verwijderd, wat een tijdrovende herberekening bij hergebruik vereist.Moderne KV-caching met niveaus breidt de opslag uit tot server-DRAMHoewel hogere niveaus een langere toegangslatentie hebben, is deze vertraging vaak korter dan het herberekenen van uitgebreide tokenvectoren.

Inferra lost kritieke geheugen knelpunten op die voortvloeien uit het uitbreiden van KV-cache-voetafdrukken met een lange context.meer schaalbare AI-afgeleiding zonder dure GPU- en HBM-hardware-upgrades om de cachecapaciteit uit te breiden.

De medeoprichter en voorzitter van Lightbits Labs, Avigdor Willenz, merkte op dat de $ 117 miljard 2026 AI-afleidingsmarkt ertoe drijft dat training-gefocuste leveranciers herarchitecteren.Hij benadrukte dat oude opslag- en trainingssystemen niet kunnen worden aangepast aan knelpunten in de KV-cache.Inferra is speciaal gebouwd voor GPU-afleidings-efficiëntie en heeft waarde gevalideerd in beta-programma's van klanten.uitbreiding van de NVMe van de leverancier over TCP-innovatie om moderne inferentieproblemen op te lossen.

Inferra wordt aangedreven door KV-cache-geoptimaliseerde prefetching-algoritmen en laadt proactief aankomende KV-cache-gegevens voordat de GPU-vraag wordt gesteld.tot 16x meer gelijktijdige inferentie sessies op bestaande GPU-hardware met strikte SLA-naleving (geen hardware-upgrades vereist); tot 100x latentieverbetering en ondersteuning voor contextvensters met 10 miljoen tokens, waarbij TTFT en TPOT worden afgesneden via voorspellende prefetching van de aandachtstoestand in plaats van recalculatie;en veilige huurderisolatie met intelligent unified KV cache management voor gedeelde inferentie clusters.

Inferra herdefinieert inferentie-economie door GPU-geheugen te virtualiseren over meerdere niveaus van geheugen en opslag, waardoor gefragmenteerde KV-caching wordt omgezet in een persistente, intelligente gegevenslaag.Inzetten op servers ¢ x86-subsystemen, het controleert KV cache blok activiteit en maakt gebruik van een Sub-Linear Sparse Attention Prefetch (SLSAP) engine.het rangschikt en prioriteert vaak hergebruikte KV-blokken, met inbegrip van recente tokens, semantisch vergelijkbare inhoud en structurele patronen in multi-turn chat- en RAG-workflows.Het systeem haalt doelblokken op van server DRAM of externe SSD's en laadt ze vooraf op GPU HBM via RDMA.

OVH Chief Product & Technology Officer Yaniv Fdida bevestigde dat Inferra aanzienlijke GPU-uitbuiting oplevert, waardoor een schaalbare, kostenefficiënte AI-agent en RAG-werklastinfrastructuur mogelijk is.

Publieke benchmarkresultaten bevestigen drastische prestatieverbeteringen: Qwen 2.5-7B (410K context) versnelt 102x (72.6s → 711ms); DeepSeek-R1-70B (141K context) verbetert 152x (70.8s → 465ms);Llama-4-Scout (10M context) bereikt een 380x sprong (1.5 uur → 13 s).

Inferra is hardware-agnostisch en compatibel met alle open source inferentie frameworks.het levert sublineaire TTFT-schaalbaarheid ten opzichte van de contextlengte, terwijl concurrenten zoals DDN, VAST Data en WEKA alleen lineaire schaalbaarheid of reactieve streaming aanbieden.een benchmark die door concurrerende leveranciers niet kan worden geëvenaard.

Lightbits Labs AI Product en Business SVP Ramesh Chettuvetty verklaarde dat Inferra onmiddellijke TCO-besparingen oplevert,het elimineren van lange contextafleidingen en het in staat stellen van bedrijven om grotere modellen en langere dialoogwerklasten te runnen tegen lagere infrastructuurkostenGebruikers kunnen de voordelen van inferentie kostenoptimalisatie van Inferra's beoordelen via het publieke efficiëntie-evaluatieplatform van de leverancier.Inferra bereikte 100× tot 280× KV cache versnelling op computationele opslag SSD werklasten.

Beijing Qianxing Jietong Technology Co., Ltd.
Sandy Yang, directeur Global Strategy
WhatsApp / WeChat: +86 13426366826
Email: yangyd@qianxingdata.com
Website: www.qianxingdata.com/www.storagesserver.com
Zaken:
Distributie van ICT-producten/Systeemintegratie en diensten/Infrastructuuroplossingen
Met meer dan 20 jaar IT-distributie-ervaring werken we samen met toonaangevende wereldwijde merken om betrouwbare producten en professionele diensten te leveren.
“Technologie gebruiken om een intelligente wereld te bouwen”Uw betrouwbare ICT-productdienstverlener!