Dell PowerEdge NVMe Backplane Opties

Dell biedt diverse opslag backplanes in hun 16G PowerEdge servers. Bij het configureren van de R760 zijn er bijna 50 drive chassis opties. Hoewel een deel hiervan legacy-ondersteuning is (PERC 11, bijvoorbeeld), is de chassiskeuze een belangrijke. Dit is nog zonder de aanstaande E3.S NVMe SSD-ondersteuning, wat de enige manier is om Gen5 SSD's in PowerEdge servers te krijgen. We hebben E3.S bekeken in de Dell PowerEdge R660 als je meer wilt weten over de voordelen van Gen5 en EDSFF form factors.

Terug naar de taak. Voor deze recensie willen we de implicaties begrijpen van het kiezen van Dell's Direct Drives optie vergeleken met de PERC 12 HWRAID kaart optie. Zoals vermeld, is de expliciete focus hier alleen op Gen4 U.2/U.3 NVMe SSD's. Voor nu negeren we chassis opties voor SATA/SAS en 3.5" HDD's. Die configuraties zijn veel eenvoudiger.

In de R760 biedt Dell een paar chassis opties om Gen4 NVMe drives aan boord te krijgen. De Direct Drives optie kan geconfigureerd worden voor 8- of 16-drive ondersteuning. Voor de HWRAID configuraties biedt Dell de PERC 12 HWRAID kaart op dezelfde manier, met één RAID-kaart voor elke batch van 8 SSD's. Deze beslissing is belangrijk omdat deze fundamenteel is om een volledig gevulde R760 met 16 NVMe SSD's de best mogelijke prestaties te laten behalen.

Dell PERC 12 Overzicht

De Dell PowerEdge RAID Controller (PERC) 12 is gebaseerd op Broadcom SAS4116W silicon. Ondanks SAS in de productnaam, is de controller een tri-mode RAID-on-Chip (ROC) apparaat. Dezelfde RAID-controller wordt gebruikt in de Broadcom MegaRAID lijn. We hebben onlangs de MegaRAID 9670W gerecenseerd en de belangrijkste mogelijkheden belicht. Met de Dell PERC 12 komen echter essentiële ontwerpverschillen kijken, afhankelijk van welke Dell server en opslagfamilie je interesseert.

Wat betreft PowerEdge, de meeste configuraties zullen de "H965i Front" PERC 12 kaart gebruiken. In onze recensie van het R760 systeem met HWRAID, hebben we twee van deze H965i Front kaarten in het systeem, één voor elke set van 8x Solidigm P5520 SSD's. Het is vermeldenswaard dat deze kaarten aanzienlijk kleiner zijn dan de add-in kaart. Het PCB-ontwerp en thermisch beheer zijn werkelijk indrukwekkend. Deze kaarten zijn direct gemonteerd op de 8-drive NVMe backplane en verbonden met het moederbord met twee x8 PCIe kabels. Dit maakt PCIe-slots aan de achterkant van de server vrij voor andere apparaten.

Over add-in kaarten gesproken, de standaard PERC 12 H965i is een halfhoge, halfhoge kaart met een ingebouwde ventilator. Deze versie van PERC 12 zal in sommige PowerEdge configuraties verschijnen en is ook te vinden in sommige van de nieuwe Dell PowerVault MD JBOD's. Tot slot is er een H965i MX, een lange, smalle PCB ontworpen voor bijvoorbeeld het MX7000 modulaire chassis.

Dell PERC 11 vs PERC 12

De Dell PERC 11 kaart ondersteunde NVMe SSD's, maar helaas kwamen de voordelen van hardware RAID tegen een aanzienlijke prestatiekost. Die klap is precies waarom de industrie zo enthousiast is over de nieuwe Broadcom silicon en Dell's versie van die kaart, de PERC. Dell heeft enkele cijfers gepubliceerd over het verschil tussen PERC 11 en PERC 12, die verbijsterend zijn.

De latentievoordelen van PERC 12 zijn duidelijk zichtbaar; maar kijk naar de prestaties onder worst-case omstandigheden, prestaties tijdens een rebuild. PERC 12 laat een paar duizend procent verbetering zien, en zelfs de RAID rebuild tijd ziet aanzienlijke voordelen.

Kijkend naar de bandbreedte en IOPS-cijfers die Dell citeert, zien we opnieuw de enorme stap voorwaarts die de PERC 12 zet ten opzichte van de PERC 11. Over de hele linie zien al deze workloads een minimale 2x verbetering in de PERC 12 kaart. Natuurlijk hebben we onze eigen tests gedaan om de PERC 12 prestaties te controleren, en daar komen we zo op.

Dell Direct Drives vs. Dell PERC 12 Prestaties

Om de opslagprestaties in Direct Drives vs. PERC 12 te vergelijken, hebben we onze R760 server "neven" geconfigureerd met Solidigm P5520 7.68TB SSD's. De Dell R760 met Direct Drives heeft 8x NVMe bays. De R760 met PERC 12 heeft 16x NVMe bays met dubbele H965i Front RAID-kaarten.

Op het eerste gezicht is het misschien niet duidelijk dat er aan beide kanten bepaalde prestatiebeperkingen zijn. Beginnend met de Direct Drives aanpak, heeft elke SSD zijn eigen x4 PCIe-verbinding, wat betekent dat acht SSD's 32 PCIe-lanes toegewezen hebben gekregen.

Dit maakt een ongelooflijke bandbreedte mogelijk, over het algemeen meer dan 52 GB/s als elke Gen4 drive zijn 6,5 GB/s verbinding kan verzadigen. Vergeleken met de PERC 12 H965i setup, communiceert elke groep van acht SSD's direct met de RAID-kaart, die terugverbinding maakt met het moederbord met een x16 PCIe-verbinding. Dit halveert de bandbreedte die de Direct Drives configuratie ondersteunt. Dus duidelijk winnen de native NVMe-verbindingen? Niet helemaal.

Bij het omgaan met meerdere NVMe-apparaten in een multi-CPU-systeem, komen NUMA-mapping tussen drive en CPU, evenals systeeminterrupts, in het spel. Dit kan geoptimaliseerd worden, maar vereist aanzienlijke tuning. Niet alle applicaties houden hier rekening mee.

Virtualisatie is een gebied waar het beheren van NUMA-mapping uitdagend is, omdat gedeelde bronnen in realtime worden gebalanceerd, soms naar een CPU die mogelijk geen directe toegang heeft tot die toegewezen PCIe-bronnen. Hardware RAID-kaarten mitigeren veel van deze problemen en optimaliseren voor systeeminterrupts en contextwisselingen, wat CPU-bronnen vrijmaakt. NUMA-mapping wordt ook minder complex, omdat in plaats van 16 individuele SSD's verdeeld over twee CPU's, je slechts één opslagkaart per CPU hebt om te beheren.

Ons testplan richt zich op twee gebieden. Het eerste zijn Vdbench workloads die JBOD-prestaties meten met acht SSD's die worden doorgelaten naar een van beide R760's. Op de Direct Drives R760 bevinden zich acht native SSD's, terwijl op de HWRAID R760 de PERC 12 acht ruwe opslagapparaten doorgeeft. Beide worden getest zoals ze zijn, zonder optimalisaties. De 2e fase van de tests toont de geschaalde prestaties van de PERC 12 oplossing van een enkele naar een geoptimaliseerde dubbele kaart setup.

Onze Direct Drives PowerEdge R760 review unit heeft de volgende configuratie:

• Dual Intel Xeon Gold 6430 (32 cores/64 threads, 1.9GHz basis)
• 1TB DDR5 RAM
• 8 Solidigm P5520 7.68TB Gen4 SSD's
• RHEL 9

De HWRAID NVMe PowerEdge R760 review unit heeft de volgende configuratie:

• Dual Intel Xeon Gold 6430 (32 cores/64 threads, 1.9GHz basis)
• 1TB DDR5 RAM
• 16 Solidigm P5520 7.68TB Gen4 SSD's
• Dual PERC 12 H965i
• RHEL 9

Vdbench Workload Analyse

Bij het benchmarken van opslagapparaten is applicatietesten het beste, gevolgd door synthetische tests. Hoewel geen perfecte weergave van werkelijke workloads, helpen synthetische tests opslagapparaten te baselinen met een herhaalbaarheidsfactor die het gemakkelijk maakt om appels met appels te vergelijken tussen concurrerende oplossingen. Deze workloads bieden een reeks testprofielen, variërend van "four corners" tests en gangbare database transfergrootte tests tot trace captures uit verschillende VDI-omgevingen.

Deze tests maken gebruik van de typische Vdbench workload generator met een scripting engine om resultaten te automatiseren en vast te leggen over een groot compute testing cluster. Dit stelt ons in staat om dezelfde workloads te herhalen op verschillende opslagapparaten, waaronder flash arrays en individuele opslagapparaten. Ons testproces voor deze benchmarks vult het gehele schijfoppervlak met gegevens en partitioneert vervolgens een schijfsectie gelijk aan 25 procent van de schijfcapaciteit om te simuleren hoe de schijf zou kunnen reageren op applicatieworkloads. Dit verschilt van complete entropietests, die 100 procent van de schijf gebruiken en deze in een stabiele toestand brengen. Als gevolg hiervan zullen deze cijfers hogere aanhoudende schrijfsnelheden weergeven.

Profielen:

• 4K Random Read en Write: 100 procent Read of Write, 128 threads, 0-120 procent iorate
• 64K Sequential Read: 100 procent Read, 32 threads, 0-120 procent iorate
• 64K Sequential Write: 100 procent Write, 16 threads, 0-120 procent iorate
• 4K 70R/30W en 90R/10W Random Mix, 64 threads, 0-120 procent iorate

Kijkend naar onze eerste test gericht op read transfer bandbreedte, zien we het PCIe-kanaalvoordeel dat de Direct Drives aanpak heeft met 32 PCIe-lanes ten opzichte van de enkele PERC 12 met 16 lanes. Dit komt neer op 41,6 GB/s van Direct Drives versus 28 GB/s van de PERC 12 in JBOD-modus.

Van read naar write bandbreedte schakelend, krimpt het voordeel van de extra PCIe-lanes, aangezien de schrijfsnelheid van de Solidigm P5520 lager is dan zijn leessnelheid. Hier mat de Direct Drives configuratie 18,3 GB/s vergeleken met 20,3 GB/s van de PERC 12.

In onze random 4K read workload maten de 8 Solidigm P5520 SSD's in de Direct Drive PowerEdge R760 een piek van 5,55M IOPS, vergeleken met 4,34M IOPS op de PERC 12 setup.

In 4K random write, wordt dat verschil weer kleiner, met Direct Drives die 3,96M IOPS meten versus 4,15M IOPS op PERC 12.

In onze eerste van twee gemengde workloads kijken we naar een 4K random transfer met een 70/30 Read/Write spreiding. Hier mat de Direct Drives PowerEdge R760 configuratie een piek van 4,47M IOPS, tegenover de PERC 12 met 3,66M IOPS.

Door het leespercentage te verhogen naar 90 procent in dezelfde 4K transfer test, maten we 5,04M IOPS van de Direct Drives server versus 3,62M IOPS van het PERC 12 systeem.

FIO Workload Analyse

Om de prestaties van de drives van Dell's Direct Drive en PERC 12 HWRAID aanbiedingen te meten, werden de benchmarks opgesplitst in de volgende configuraties. De eerste omvatte een JBOD-configuratie die elke drive buiten RAID, RAID10 en vervolgens RAID5 configuraties mat. Voor de Direct Drives aanpak verschijnen de SSD's als normaal voor het OS; voor de PERC 12 worden ze via de HBA als ruwe opslagapparaten doorgegeven. Deze configuraties werden door een scriptingproces geleid om de flash voor te conditioneren, de tests uit te voeren waarvoor ze waren geconditioneerd, en naar de volgende preconditioning/workload mix te gaan.

Sequentiële preconditioning

• Sequentiële tests op JBOD, 8DR10, 8DR5 (Single en Dual PERC)
• Random preconditioning
• Random optimale tests op JBOD, 8DR10, 8DR5 (Single en Dual PERC)
• Random rebuild tests op 8DR10, 8DR5 (Single en Dual PERC)
• Random write latency voor optimaal en rebuild voor 8DR5 (Single PERC)
• Met de PERC 12 H965i die een x16 PCIe Gen4 slot heeft, zullen de piekprestaties rond de 28 GB/s in één richting liggen, en dat is waar het Gen4 slot zijn limiet bereikt. Dell heeft een unieke aanpak gekozen voor deze bandbreedtelimiet door een dubbele PERC 12 configuratie aan te bieden in hun PowerEdge R760. In plaats van 16 SSD-bays die allemaal op één kaart zijn aangesloten, wordt de belasting gesplitst, waarbij elke PERC 12 zijn eigen set van 8 SSD's aanstuurt. Deze aanpak omzeilt de bandbreedtelimiet en verhoogt dramatisch de beschikbare piekdoorvoer onder veeleisende workloads.

Kijkend naar sequentiële transferprestaties eerst, zien we het bandbreedtevoordeel dat de Direct Drives configuratie heeft, met een leessnelheid van 54,4 GB/s tegenover de enkele PERC 12 die 28,1 GB/s meet. De schrijfsnelheid native heeft ook een voordeel, met 33,4 GB/s tegenover 28,3 GB/s van de enkele PERC 12 met acht drives erachter. Schrijfsnelheden zullen over het algemeen hier geen groot verschil laten zien, aangezien dit type SSD over het algemeen een leessnelheid heeft die ver boven de schrijfsnelheid ligt.

Workload

Hoewel de traditionele gedachte was dat hardware RAID geen waarde heeft bij moderne SSD's, zien we dat dit niet langer het geval is. Ja, de Direct Drives NVMe setup kan worden getuned, maar het is een bewegend doelwit over meerdere SSD's gebalanceerd over twee CPU's.

Dit staat in direct contrast met de PERC 12 HWRAID-kaart, die al die complexiteit beheert en slechts met één CPU verbinding maakt. Voor schaalbaarheid verbindt de 2e PERC-kaart in de Dell PowerEdge R760 met de andere CPU, wat balancering biedt voor grotere workloads die over die twee schijfgroepen zijn verdeeld. Het moet worden opgemerkt dat rond de 10M IOPS het systeem begon de CPU's te verzadigen, daarom zagen we geen lineaire schaling op sommige gebieden met de extra PERC 12 kaart.

Workload

Workload

Laatste Gedachten

Dell's nieuwe PERC12 NVMe RAID-kaart verandert het spel voor NVMe opslagopties in PowerEdge servers. In het verleden aarzelden sommige klanten om over te stappen van SAS SSD's of kozen ze voor NVMe drives die verbonden waren met diverse SDS of hypervisors. De introductie van de PERC 12 kaart heeft echter de vergelijking voor PowerEdge veranderd, waardoor het een levensvatbaardere optie is.

De reden waarom PERC 12 zo goed presteert, is ook toe te schrijven aan de indeling van de PowerEdge server. Onze R760 heeft twee PERC 12 (H965i Front) kaarten, elk met x16 lanes. Dit stelt ons in staat om de 8 Solidigm SSD's met elke kaart te gebruiken, wat een maximale bandbreedte tot 28 GB/s per kaart biedt. Het aansluiten van alle 16 SSD's op één enkele RAID-kaart zou resulteren in een verlies van de helft van de potentiële prestaties.

Je zou kunnen vragen: "Waarom niet 24 SSD's met HWRAID?" Vergeet niet dat elk systeem ergens een bottleneck heeft. In dit geval kunnen we de CPU vrij gemakkelijk verzadigen, dus de x86 binnen de server wordt de beperkende factor. Als we het hebben over een geclusterde oplossing, dan zullen we ook het netwerk belasten. Een handvol SSD's kan gemakkelijk 200 GbE of zelfs 400 GbE vullen. Met SSD-capaciteiten die nu 30,72 TB overschrijden, is er minder behoefte aan een server vol met drives voor systeemcapaciteitsproblemen.

Als je onze recensie van de Broadcom 9600 Series RAID-kaart hebt gelezen, begonnen we behoorlijk sceptisch dat de nieuwe silicon realistisch alle data-integriteit en rebuild-voordelen van HWRAID zou bieden zonder het NVMe SSD-prestatieprofiel te beperken. We waren aangenaam verrast met de resultaten in die recensie en nog meer hier, met PERC 12 dat kan verdubbelen in de R760 om twee keer zoveel top-line prestaties te krijgen. Hoewel Dell Direct Drives in veel use cases, zoals software-defined storage, nog steeds de voorkeur kan hebben, zou de PERC 12 optie extreem populair moeten zijn voor de meeste enterprise use cases.

Beijing Qianxing Jietong Technology Co., Ltd.

Sandy Yang/Global Strategy Director
WhatsApp / WeChat: +86 13426366826
E-mail: yangyd@qianxingdata.com
Website: www.qianxingdata.com/www.storagesserver.com
Zakelijke focus:

ICT Productdistributie/Systeemintegratie & Services/Infrastructuuroplossingen
Met meer dan 20 jaar ervaring in IT-distributie werken we samen met toonaangevende wereldwijde merken om betrouwbare producten en professionele diensten te leveren.
"Technologie gebruiken om een intelligente wereld te bouwen" Uw Vertrouwde ICT Product Service Provider!