We’ve partnered with CoolIT Systems om vloeistofkoeling in ons lab te introduceren. Als onderdeel van die inspanning hebben we een mini-vloeistofkoelingsinstallatie samengesteld en een Dell PowerEdge R760 aangepast, van luchtgekoeld naar vloeistofgekoeld omgebouwd. We staan nog aan het begin van onze vloeistofkoelingsreis, maar hebben al belangrijke ontdekkingen gedaan over de voordelen die directe vloeistofkoeling (DLC) biedt.

 

Dell PowerEdge R760 Na DLC Conversie

Vloeistofkoeling in een of andere vorm zal nodig zijn om moderne workloads te ondersteunen. De wiskunde klopt niet meer voor luchtgekoelde servers met een enorme thermische ontwerpprestatie (TDP) van CPU en GPU. DLC geleverd via koude platen is de meest voorkomende oplossing, elke serverleverancier heeft minstens één optie. Wat Dell betreft, zij werken samen met CoolIT Systems om vloeistofkoeling te leveren voor het gehele PowerEdge-portfolio.

Ons lab, net als de meeste datacenters, was niet vanaf het begin ontworpen om te profiteren van vloeistofkoeling. Maar, net als veel datacenters, zien we dat de servers met de hoogste prestaties een vorm van vloeistofkoeling vereisen, en als we van deze systemen willen profiteren, moeten we ons aanpassen. Dit is een verhaal dat we tegenwoordig veel horen in het bedrijfsleven, aangezien datacenters investeren in AI en ontdekken dat de meeste van deze systemen binnenkort een vloeistoflus van enige aard nodig zullen hebben voor de werking.

In ons geval hebben we besloten om te beginnen met het aanpassen van een van de Dell PowerEdge R760 servers in het lab. Om duidelijk te zijn, wanneer klanten vloeistofgekoelde servers willen, bestellen ze die zo bij Dell. Dell regelt de integratie met CoolIT en klanten ontvangen een server met geïnstalleerde koude platen en leidingen voor vloeistofkoeling. DLC PowerEdge-systemen hebben een paar nuances die ze anders maken dan luchtgekoelde servers, we zijn met dit werk in relatief onontgonnen gebied terechtgekomen. De iDRAC-kaart is bijvoorbeeld anders, de DLC-versie heeft een aansluiting voor lekdetectie. We waren succesvol in het conversieproces, maar het installeren van uw eigen koude platen is geen ondersteunde activiteit.

CoolIT DLC Kit

CoolIT heeft ons voorzien van een mini-systeem dat doorgaans wordt gebruikt voor een klein proof-of-concept, terwijl hun klanten het proces van het toevoegen van vloeistofkoeling aan hun datacenters doorlopen. Dat gezegd hebbende, dit systeem kan schalen tot 10kW, dus het is een geweldige manier voor nieuwkomers in vloeistofkoeling om enige ervaring op te doen met ongeveer een halve rack. Er zijn drie belangrijke componenten van deze opstelling: de koude platen, de rack-manifold en de koelmiddel-distributie-unit (CDU).

De koude platen zijn ontworpen voor specifieke TDP-gebruiksscenario's en passen perfect op de CPU of GPU die wordt gekoeld. Ze zien er bedrieglijk eenvoudig uit, en hoewel er geen pompen of bewegende delen op de platen zelf zitten, is de engineering niet triviaal dankzij stijgende TDP's. Ter perspectief: CoolIT heeft onlangs een nieuwe lijn koude platen gelanceerd die tot 1500W kunnen ondersteunen. De CPU's in onze R760 zijn in vergelijking een beetje bescheiden, de Intel Xeon 8580 CPU's hebben “slechts” een TDP van 350W per stuk.

 

Het installeren van de koude platen is heel eenvoudig, de blokken hebben zelfs thermische pasta voorgeladen, het is een zeer eenvoudige drop-in kit. Zoals eerder vermeld, is er een andere iDRAC-kaart voor DLC-systemen die het aansluitpunt heeft voor de lekdetectiekabel die van de koude platen loopt. De slangen worden aan de achterkant van de R760 naar buiten geleid, via een andere beugel die bij de DLC iDRAC-kit wordt geleverd.

De koude platen zijn via gelabelde warme/koude aansluitingen verbonden met de manifold. De manifold zelf is gemaakt van roestvrij staal en de fittingen zijn lekvrije snelkoppelingen. Het duurt een paar seconden om de server op de manifold aan te sluiten, die voorgevuld wordt geleverd. Overigens ging onze manifold aan de achterkant van de rack, maar deze kan indien nodig aan de voorkant worden geconfigureerd. We hebben een mini-manifold voor dit gebruiksscenario, een meer traditionele DLC-rack zou een manifold hebben die de hele rack beslaat. De manifold is rechtstreeks aangesloten op de CDU.

De CDU doet het zware werk in deze lus, we gebruiken de CoolIT AHx10. Dit is een 5U vloeistof-naar-lucht CDU die 7kW aan belasting kan verwerken bij 25C omgevingstemperatuur. CoolIT biedt een uitbreidingskit die deze unit kan opschalen naar 10kW. Binnenin het chassis bevindt zich een vloeistof-naar-lucht warmtewisselaar en redundante pompen. De CDU wordt, net als de manifold, voorgevuld geleverd. We hebben de onze relatief laag in de rack geplaatst, maar de CDU kan overal geplaatst worden, afhankelijk van hoe de rack is ingesteld.

De AHx10 heeft een maximaal stroomverbruik van 750W, wat helpt bij de algemene economische discussie rond energiebesparing. Het systeem heeft een intuïtief touchscreen display dat ondersteuning voor externe toegang biedt. Afgezien van het instellen van de pompdruk in het begin, is er eigenlijk heel weinig dat met de CDU gedaan moet worden, het is grotendeels 'instellen en vergeten', de onze draait al een paar weken zonder verdere interventie.

Het is vermeldenswaard dat we met deze CoolIT-apparatuur het probleem van de warmte zelf niet oplossen. We verplaatsen in feite de warmte van de CPU's van de R760 naar de warmtewisselaar in de CDU. We moeten het lab nog steeds koelen zoals voorheen, aangezien we geen facilitaire wateraansluiting hebben om de warmte buiten het lab af te voeren. Dat gezegd hebbende, een klein systeem als dit is perfect voor een paar vloeistofgekoelde servers en kan een ideale oplossing zijn voor een bedrijf met een kleine AI-implementatie, iets als de Dell PowerEdge XE9640 zou goed passen.

Hoewel we nog steeds te maken hebben met de warmte van de DLC R760 in ons lab, zijn er verschillende voordelen van de overstap naar vloeistofkoeling.

Voordelen van DLC

Bij de overstap van luchtkoeling naar vloeistofkoeling is het grootste en meest voor de hand liggende voordeel de vermindering van het ventilatorgebruik. De R760 heeft nog steeds luchtstroom nodig voor systeemonderdelen zoals DRAM en opslag, maar deze hoeven niet zo snel te draaien. Hoewel dit de server stiller maakt, is het beste van de DLC-lus de vermindering van het elektriciteitsverbruik. Het andere dat we vonden was een beetje verrassend, de DLC R760 presteerde iets beter dan toen hij luchtgekoeld was.

Om het elektriciteitsverbruik van de R760 nauwkeuriger te bekijken, hebben we onze Quarch QTL2843 Mains Power Analysis Module ingesteld. We hebben de server zowel met zijn fabrieks-luchtgekoelde koellichamen als opnieuw met de CoolIT koude platen laten draaien. Om de CPU's te belasten, hebben we een Pi-berekening uitgevoerd tot 50 miljard cijfers, wat een zeer zware belasting op de CPU en DRAM legt. Onze bedoeling was om de CPU's zo hard mogelijk te pushen om ervoor te zorgen dat de ventilatoren op hun maximale vereiste toerental moesten draaien.

De impact van de DLC-implementatie was onmiddellijk duidelijk. Bij het draaien van de R760 in de luchtgekoelde configuratie draaien de ventilatoren tijdens de workload op 100%, zoals verwacht. Met de DLC-configuratie koos de R760 ervoor om de ventilatoren op 32% te laten draaien, een dramatische daling. Dat komt neer op een besparing van 200 watt, in slechts één server. Het is niet alleen de ventilatorsnelheid die opvalt, de CPU's zelf rapporteerden ongeveer de helft van de temperatuur met DLC, 41/42C vergeleken met 88/89C bij luchtkoeling.

 

Maar het is niet alleen energiebesparing die aan de andere kant uitkomt bij het overstappen op vloeistofkoeling. We zagen een kleine prestatieverbetering, die we niet hadden verwacht. Met de koude platen die betere koeling leveren, kan de CPU optimaal presteren. In de luchtgekoelde configuratie voltooide de R760 de 50 miljard Pi-berekening in 369 seconden. In de DLC-configuratie ging de R760 iets sneller, en leverde de berekening in 347 seconden. Dat is een prestatiewinst van ongeveer 6%, waardoor we iets meer uit de Intel CPU's kunnen halen.

Laatste gedachten

We staan nog maar aan het begin met vloeistofkoeling in het lab en zijn verheugd om met CoolIT aan deze eerste inspanning te hebben samengewerkt. De koude platen werken perfect op de PowerEdge R760 en de manifold en CDU komen samen en “werken gewoon” zonder zorgen of voortdurend geknutsel. Voor degenen die huiverig zijn om vloeistof in het datacenter te brengen, is voortdurende eenvoud cruciaal. We hebben ook geen lekken of andere meer catastrofale gebeurtenissen gehad, wat te verwachten is, dit is enterprise-apparatuur met een extreem laag uitvalpercentage.

Voor bedrijven die high-power AI-systemen in het datacenter willen introduceren, is vloeistofkoeling een uitgemaakte zaak. De 8-weg GPU-servers zullen luchtkoeling achter zich laten en kiezen voor DLC-lussen zoals deze of op zijn minst een gesloten lus en radiator. Hoe dan ook, een bepaalde hoeveelheid vloeistof zal zijn weg vinden naar het datacenter. Met de aanzienlijke elektriciteitsbesparingen en bescheiden prestatieverbetering zijn er veel redenen waarom bedrijven DLC-servers zouden moeten omarmen.

CoolIT is een duidelijke leider in deze ruimte en hun relatie met Dell brengt een breed scala aan vloeistofkoelingsoplossingen op de markt op een gemakkelijk te consumeren manier, met heel weinig om je zorgen over te maken. We kijken ernaar uit om onze kleine lus verder te verkennen en kunnen niet wachten om meer vloeistofgekoelde servers in het lab te zien.

Beijing Qianxing Jietong Technology Co., Ltd.
Sandy Yang/Global Strategy Director
WhatsApp / WeChat: +86 13426366826
E-mail: yangyd@qianxingdata.com
Website: www.qianxingdata.com/www.storagesserver.com

Zakelijke focus:
ICT Productdistributie/Systeemintegratie & Diensten/Infrastructuuroplossingen
Met meer dan 20 jaar ervaring in IT-distributie werken we samen met toonaangevende wereldwijde merken om betrouwbare producten en professionele diensten te leveren.
“Technologie gebruiken om een intelligente wereld te bouwen” Uw vertrouwde ICT-productenserviceprovider!