Volledige specificaties:

Dell PowerEdge XE9680 Bouw en Ontwerp

De PowerEdge XE9680 is een indrukwekkend stuk hardware, met een hoogte van 10,36 inch (263,20 mm), een breedte van 18,97 inch (482,00 mm) en een diepte van 39,71 inch (1008,77 mm) met de rand eraan bevestigd. Volledig beladen weegt hij 251,44 lbs (114,05 kg). De keuze van de GPU zal het laatste woord hebben over het gewicht, waarbij het NVIDIA H100/H200-model 238 lbs weegt, terwijl de AMD MI300X-eenheid 251 lbs weegt.

Dit was de eerste server die zorgvuldige overweging vereiste om correct in onze testomgeving te worden geladen. Als je rekening houdt met het servergewicht en het aantal mensen dat nodig is om hardware te racken, is er enige speling om buiten de grenzen te gaan, maar op een bepaald punt tillen één of twee personen het niet alleen. Dell is zo vriendelijk om je een "heftafel" te geven om je te helpen begrijpen hoe dit platform past. Voor iedereen die zich afvraagt, Kevin heeft de XE9680 zelf in het rack geladen.

Ondanks de complexiteit en Dell's aanbeveling voor gespecialiseerde servicetechnici, beschikt de XE9680 over opmerkelijk gebruiksvriendelijke service-elementen. De panelen van de server bevatten gedetailleerde service-instructies en duidelijke grafische weergaven, waardoor onderhoudsprocedures verrassend toegankelijk zijn voor ervaren IT-personeel. Deze visuele gidsen bleken van onschatbare waarde tijdens onze hands-on tijd met het systeem, waardoor we verschillende componenten met vertrouwen konden onderhouden.

Na het openen van de kap van de PowerEdge XE9680, zodra je voorbij de talrijke stroomkabels van de kleine stroomonderstation aan de bovenkant bent, lijkt het veel op een PowerEdge R760. Onze unit werd aangedreven door twee Intel Xeon Platinum 8468 processors, elk met 48 cores op 2,1 GHz. Elke processor biedt 80 PCIe-lanes, die via nogal wat PCIe-switches in deze unit lopen om de GPU's, NIC's en andere hardware die in de XE9680 is geladen te ondersteunen.

Een van de meest indrukwekkende technische kenmerken is het ontwerp van de PCIe Switch Board (PSB). Deze boards bieden connectiviteit voor maximaal 10 extra full-height, half-length PCIe-kaarten (waarvan twee meer dan 75W stroom kunnen verbruiken) en integreren direct met het GPU-basisbord. Deze directe integratie maakt GPU-directe technologie mogelijk, waardoor SSD's en netwerkkaarten rechtstreeks met de GPU's kunnen communiceren, de CPU omzeilen en de latentie voor I/O-intensieve AI-workloads verminderen.

Elke uitbreidingssleuf ondersteunt een volledige PCIe Gen5 x16-interface, inclusief de twee onderste sleuven aan de linker- en rechterkant van de lay-out. Hoewel de bovenste acht sleuven via hun eigen PSB zijn aangesloten, zijn de twee onderste sleuven rechtstreeks aangesloten op het PCIe Base Board (PBB). Deze twee sleuven ondersteunen ook kaarten met een hoog stroomverbruik. Bovendien moet worden opgemerkt dat de PCIe-lay-out enigszins varieert, afhankelijk van het GPU-type dat voor de PowerEdge XE9680 is gekozen. De met AMD uitgeruste modellen ondersteunen geen SmartNIC/DPU's, en de Intel Gaudi3-modellen hebben twee sleuven geblokkeerd vanwege luchtstroomproblemen.

Koeling is een ander gebied waar Dell's technische expertise tot uiting komt. Het systeem maakt gebruik van maximaal 16 high-performance goud-gegradeerde ventilatoren - zes in de mid-tray en tien aan de achterkant. De PowerEdge XE9680 ondersteunt een breed scala aan installatiescenario's, met omgevingstemperaturen variërend van 10 tot 35 °C (30 °C met de Intel Gaudi3 GPU's). Op volle toeren verplaatst de server een indrukwekkende 1.200 CFM naar de warme gang.

Deze robuuste koeloplossing kan zelfs de meest veeleisende thermische belastingen aan, waaronder de AMD MI300X, Intel Gaudi3 of NVIDIA H100 GPU's, terwijl optimale bedrijfstemperaturen worden gehandhaafd. De PowerEdge XE9680 zingt behoorlijk onder belasting wat betreft geluidsproductie. Dell biedt een volledig akoestisch specificatieblad voor de XE9680 onder verschillende omstandigheden, maar het is vrij eenvoudig te zeggen dat het een luid platform zal zijn onder belasting.

Beheer

De beheerfuncties van de XE9680 zijn gebouwd rond Dell's enterprise-bewezen iDRAC9, dat uitgebreid server lifecycle management en monitoring biedt. Deze iteratie van iDRAC brengt verschillende AI-geoptimaliseerde functies met zich mee, waaronder gedetailleerde GPU-telemetrie, analyse van stroomverbruik en uitgebreide thermische monitoring ontworpen voor AI-workloads met hoge dichtheid.

De managementstack van het platform is bijzonder opmerkelijk voor AI-infrastructuurimplementaties. Via iDRAC9's RESTful API met Redfish-ondersteuning kunnen organisaties programmatisch GPU-gebruik, geheugenbandbreedte en thermische omstandigheden monitoren en beheren - kritieke meetwaarden voor het handhaven van optimale AI-trainings- en inferentieprestaties. De integratie van het systeem met OpenManage Enterprise maakt fleet-wide beheer van meerdere XE9680's mogelijk via een uniforme console, wat essentieel is voor grootschalige AI-clusters.

Beveiliging en compliance zijn fundamentele elementen van de beheerarchitectuur. Het platform implementeert Silicon Root of Trust en Secure Component Verification, wat de hardware-integriteit garandeert vanaf het opstarten tot aan de werking. Deze functies zijn bijzonder waardevol bij het uitvoeren van gevoelige AI-workloads of het verwerken van propriëtaire modelgewichten.

De voorspellende storingsanalyse, aangedreven door CloudIQ-integratie, maakt gebruik van machine learning om potentiële hardwareproblemen te voorspellen voordat ze workloads beïnvloeden. Deze proactieve aanpak is vooral cruciaal voor langlopende AI-trainingstaken, waarbij onverwachte downtime kan leiden tot dagen aan verloren rekenkracht. In combinatie met Dell's ProSupport Plus-service triggert deze voorspellende functionaliteit automatische casemanagement en onderdelenverzending, wat vaak resulteert in preventief onderhoud voordat systeemdegradatie optreedt.

Voor organisaties die integratie met bestaande beheerhulpmiddelen nodig hebben, ondersteunt de XE9680 verschillende beheerframeworks via OpenManage-integraties, waaronder ServiceNow en BMC TrueSight, waardoor naadloze integratie in gevestigde IT-servicemanagementworkflows mogelijk is.

De iDRAC9-interface biedt gedetailleerde real-time monitoring van kritieke componenten via een intuïtief dashboard. GPU-monitoring toont uitgebreide meetwaarden, waaronder temperatuur, stroomverbruik en gebruikspercentages over alle acht accelerators, essentieel voor het optimaliseren van de distributie van AI-workloads.

De opslagbewakingsinterface biedt directe zichtbaarheid van de schijfgezondheid, temperatuur en prestatiecijfers van de NVMe-array, wat bijzonder waardevol is bij het beheren van inferentiecaches met hoge doorvoer en trainingsdatasets.

Geheugen, Opslag en Schaal

De acht AMD MI300X GPU's in de Dell PowerEdge XE9680 vertegenwoordigen een aanzienlijke sprong in GPU-geheugencapaciteit, met 192 GB HBM3-geheugen per kaart vergeleken met NVIDIA H200's 141 GB. Deze toename van 36% in geheugencapaciteit is niet zomaar een getal op een specificatieblad - het is cruciaal voor de implementatie van grote taalmodellen.

Deze enorme geheugenpool, in combinatie met de 5,3 TB/s geheugenbandbreedte van de MI300X, stelt organisaties in staat om meerdere instanties van kleinere modellen uit te voeren of grotere modellen over GPU's te partitioneren met behoud van hoge doorvoer en lage latentie.

Om dit in perspectief te plaatsen, het Llama 3.1 405B-model van Meta, dat meer dan 1 TB VRAM in BF16 vereist, kan comfortabel worden gedistribueerd over een enkele XE9680 met MI300X GPU's zonder kwantisatie en met een volledige contextlengte van 128k. Dit elimineert potentieel kwaliteitsverlies geassocieerd met kwantisatietechnieken en maakt meer Tokens/Seconde mogelijk in vergelijking met het model verdeeld over twee servers.

Om onze opslagvoetafdruk te maximaliseren, hebben we de Solidigm 61,44 TB drives gebruikt als een geavanceerde uitbreiding van het geheugen, die de kloof overbrugt tussen snelle GPU-geheugen en traditionele opslag. De SSD's blinken uit in het opslaan van key-value cacheparen tijdens inferentie, waardoor de geheugencapaciteit van de GPU effectief wordt uitgebreid voor generaties met lange context. Hun enorme capaciteit en NVMe-prestaties maken ze ideaal voor snelle toegang tot modelgewichten, waardoor efficiënte modelwisseling en warme starts mogelijk zijn.

In toepassingen zoals de Metrum AI-implementatie die we hieronder beschrijven, doen de SSD's dubbel dienst als opslagbackend voor vector databases, waarbij ze de prestaties leveren die nodig zijn voor real-time gelijkeniszoekopdrachten, terwijl ze de capaciteit voor uitgebreide embeddingopslag behouden.

De waarde van deze schijven met hoge capaciteit strekt zich uit van inferentie tot trainingsworkflows. Ze bieden ideale lokale opslag voor het in de wachtrij plaatsen van trainingsbatches, waardoor de netwerkoverhead wordt verminderd door gegevens dichter bij de rekenbronnen te houden. Tijdens training blinken deze schijven uit in het lokaal opslaan van modelcheckpoints, wat cruciaal is voor het behouden van de trainingsvoortgang en het mogelijk maken van snel herstel. Deze lokale opslagstrategie helpt ook het netwerkgebruik te optimaliseren door het directe netwerkverkeer na elke verwerkte laag en batch te verminderen.

Hoewel de capaciteit van 61,44 TB verdeeld over acht bays in de XE9680 veelbelovend klinkt, komt er nog veel meer capaciteit aan. Met de nieuw aangekondigde 122,88 TB drive van Solidigm kan de opslagdichtheid in de XE worden verdubbeld tot bijna een petabyte voor verdere trainingsoptimalisaties en langer meegaande inferentiecaches.

Metrum AI Healthcare Assistant – Revolutionaire Patiëntenzorg

De gezondheidszorgsector wordt voortdurend geconfronteerd met de uitdaging van tijdrovende patiëntendocumentatie en dossierbeheer, wat vaak ten koste gaat van directe patiëntenzorg. Metrum AI's Healthcare Assistant, geïmplementeerd op Dell PowerEdge XE9680 servers met AMD-accelerators, is een voorbeeld van hoe geavanceerde AI-infrastructuur gezondheidswerkstromen kan transformeren, de efficiëntie kan verbeteren en de patiëntresultaten kan verbeteren.

Het systeem maakt gebruik van Llama 3.1 70B Instruct als zijn primaire taalmodel, bekend om zijn begrip van medische contexten. Hierdoor kan het complexe patiëntgegevens gemakkelijk verwerken. Dit taalmodel is gekoppeld aan het gte-v1.5 embedding model en Milvus Vector DB, wat een robuuste basis biedt voor natuurlijke taalverwerking en contextueel begrip dat essentieel is voor het verwerken van medische gegevens.

Metrum AI's Healthcare Assistant bevat ook een multimodale aanpak met HistoGPT voor histopathologische beeldanalyse en OpenAI's Whisper voor real-time transcriptie van artsennotities. Samen stroomlijnen deze modellen klinische workflows, waardoor artsen natuurlijk kunnen spreken terwijl het systeem informatie in realtime transcribeert, categoriseert en integreert in patiëntendossiers.

Metrum AI erkent dat, hoewel individuele patiëntgegevens relatief klein kunnen zijn, de gecombineerde opslagvereisten van ziekenhuizen met veel verkeer kunnen oplopen tot honderden terabytes. De Dell PowerEdge XE9680 kan dit aan met zijn lokale onboard NVMe-opslag. Onze configuratie biedt acht 2,5" U.2 NVMe-opslagbays die op PCIe Gen4-snelheden werken. Hoewel we de XE9680 hebben getest met 61,44 TB Soldigim D5-P5336 QLC SSD's, kan deze capaciteit nog verder worden opgeschaald. Soldigim heeft onlangs hun nieuwe D5-P5336 122,88 TB QLC-modellen gelanceerd, die de capaciteit van hun reeds enorme SSD's verdubbelen met behoud van dezelfde prestaties.

Metrum gaf schattingen van hoe patiëntgegevens zich in de loop van de tijd ontwikkelen in verschillende scenario's. Als je dat uitrekent naar de totale opslagcapaciteit, kun je zien hoeveel extra patiënten een eenheid kan ondersteunen met de SSD's met de hoogste capaciteit. Als we de geschatte data footprint per patiënt nemen en deze afzetten tegen de bruikbare capaciteit voor elke SSD (57 TB voor de 61 TB SSD en 114 TB voor de 122 TB SSD), kunnen we zien dat dichte SSD's enorm vergroten wat je per jaar op de server kunt opslaan op een zinvolle manier.

Hoewel de initiële schattingen van 1 jaar behoorlijk hoog lijken, is het belangrijk op te merken dat patiëntgegevens niet statisch zijn. Er zullen nieuwe gegevens worden vastgelegd en nieuwe bezoeken worden gepland, waardoor de opslagvraag groeit. Dit is waar opslag een belangrijke rol speelt in de medische beeldvorming. Extra opslagcapaciteit heeft directe invloed op het aantal patiënten dat een oplossing effectief kan ondersteunen.

De Dell PowerEdge XE9680, uitgerust met AMD MI300X-accelerators en geïntegreerd met Metrum AI's Healthcare Assistant, biedt een schaalbare en efficiënte oplossing voor zorgverleners. Door tijdrovende taken te automatiseren en snelle toegang tot kritieke inzichten mogelijk te maken, kunnen clinici zich meer richten op patiëntenzorg en tegelijkertijd voldoen aan groeiende eisen. Door naadloze integratie van AI-componenten over taal-, beeld- en stemmodaliteiten vertegenwoordigt de Healthcare Assistant een aanzienlijke vooruitgang in AI-gestuurde gezondheidsoplossingen, waardoor administratieve lasten worden verminderd en de algehele patiëntresultaten worden verbeterd.

Conclusie