Het ongestructureerde databeheerbedrijf Komprise heeft een gepatenteerde technologie ontwikkeld die in staat is om enorme ongestructureerde datasets dynamisch te splitsen. Deze oplossing verdeelt de werklast over meerdere rekenmachines tijdens de gegevensoverdracht naar GPU's voor AI-verwerking, waardoor de algehele verwerkingssnelheid aanzienlijk wordt versneld.
De Komprise Elastic Shares (KES)-technologie, officieel geregistreerd als patent US-12566637-B2, werd ingediend door Komprise CTO Michael Peercy en zijn onderzoeksteam. De formele titel is “Systeem en methoden voor het onderverdelen van een onbekende boom voor het uitvoeren van bewerkingen door meerdere rekenmachines.”
Peercy verklaarde: "Elastic Shares stelt onze klanten in staat waardevolle computer-, geheugen- en netwerkbronnen volledig te benutten. De technologie levert een vrijwel lineaire schaalvergroting van de prestaties, waardoor bedrijven prominente concurrentievoordelen kunnen behalen."
Voor datasets op petabyteschaal die naar AI-servers worden verzonden voor analyse, LLM-inferentie of AI-agentberekeningen, heeft een enkele rekenmachine uren nodig om directorystructuren of objectopslagvoorvoegsels te doorkruisen. Een rekenmachine kan worden gedefinieerd als een onafhankelijke server, individuele thread, threadgroep, proces of procescluster, met consistente operationele principes in alle scenario's. Hoewel gebruikers vooraf meerdere motoren voor parallel computergebruik kunnen inzetten, veroorzaakt statische toewijzing vaak inefficiëntie. Ongelijke vertakkingsgroottes zorgen ervoor dat bepaalde rekenknooppunten vroegtijdig eindigen en inactief blijven terwijl ze wachten tot langzamere knooppunten de toegewezen taken voltooien.
Komprise-patent US-12566637-B2.
Het team van Peercy heeft een intelligente taakplanner uitgevonden, ingebed in een van de rekenmachines, om de knooppuntstatus in realtime te bewaken. Wanneer een gegevensverwerkingstaak wordt gestart, worden de werklasten in eerste instantie toegewezen aan de beschikbare rekenmachines. Zodra een knooppunt de toegewezen partitie heeft voltooid, keert het terug naar de resourcepool om lopende taken te ontvangen. Dit mechanisme elimineert inactieve tijd, wijst voortdurend nieuwe werklasten toe aan vrije rekenknooppunten en verkort de algehele verwerkingsduur.
Volgens een officiële Komprise-blogpost herverdeelt KES ongestructureerde dataworkloads op een streaming-manier dynamisch over serverclusters. De technologie realiseert een bijna lineaire versnelling voor grootschalige gegevensverwerking zonder dat vooraf verkregen informatie over de capaciteit van de dataset, de interne structuur of de verwerkingslatentie nodig is.
Simpel gezegd: elk computerknooppunt ontvangt automatisch nieuwe taken onmiddellijk na het voltooien van de huidige opdrachten, waarbij het volledige gebruik van de bronnen behouden blijft totdat de volledige gegevenstaak is voltooid.
Michaël Peercy.
Uit de patentdocumentatie blijkt dat grootschalige datamigratietaken tussen bestandsservers of opslagvolumes vaak te maken hebben met krappe tijdsdruk. Eén enkel rekenknooppunt, of het nu een thread-, proces- of stand-alone server is, mist voldoende doorvoer om zware werklasten snel af te ronden, waardoor parallelle verwerking met meerdere motoren een essentiële oplossing wordt.
Het document legt verder uit dat directoryboomstructuren alleen kunnen worden geïdentificeerd tijdens recursieve verplaatsing van root- naar leaf-knooppunten. In sommige gevallen moeten gegevens in een vaste volgorde worden verwerkt, bijvoorbeeld door prioriteit te geven aan bovenliggende mappen boven submappen en bestanden. Dit vereist realtime dynamische werklastsegmentatie in plaats van rigide statische partities, die zich moeten aanpassen aan diverse en onbekende data-architecturen.
Deze gepatenteerde technologie is van toepassing op bestanden, mappen, opslagobjecten en objectvoorvoegsels. Hoewel het oorspronkelijk is ontworpen voor onafhankelijke fysieke servers, is het compatibel met alle vormen van rekenmachines, inclusief threads, processen en backend-serviceclusters.
Komprise benadrukt drie kernvoordelen van de KES-technologie:
-
Dynamische taakpartitionering: Hoogwaardige computerbronnen worden onmiddellijk opnieuw toegewezen aan nieuwe taken zodra ze inactief worden.
-
Blinde gegevensverwerking: Het systeem ondersteunt de berekening van datasets zonder dat u zich vooraf bewust bent van de datagrootte, de interne structuur en de latentie van variabele verwerking, waardoor het perfect past bij AI-scenario's voor streaming datatransmissie.
-
Intelligente herbalancering van hulpbronnen: Het optimaliseert automatisch toewijzingsstrategieën om zich aan te passen aan ongestructureerde gegevenshiërarchieën met onvoorspelbare vertakkingsdichtheden.
Deze innovatieve gepatenteerde technologie levert praktische en efficiënte optimalisatie voor grootschalige ongestructureerde datacomputing.
Peking Qianxing Jietong Technologie Co., Ltd.
Sandy Yang/directeur mondiale strategie
WhatsApp / WeChat: +86 13426366826
E-mail: yangyd@qianxingdata.com
Website: www.qianxingdata.com/www.storagesserver.com
Zakelijke focus:
ICT-productdistributie/Systeemintegratie en -diensten/Infrastructuuroplossingen
Met meer dan 20 jaar ervaring in IT-distributie werken we samen met toonaangevende wereldwijde merken om betrouwbare producten en professionele diensten te leveren.
“Technologie gebruiken om een intelligente wereld te bouwen”Uw vertrouwde ICT-productdienstverlener!
Uw bericht moet tussen de 20-3.000 tekens bevatten!
Dutch
