Hogyan építsünk HPC laborgépet?
Közzététel itt Szakmai munka · Hétfő 30 Okt 2023
A 'GPU farm és eGPU építési kisokos' c. kiadványom rengeteg hasznos ötletet tartalmaz arra az esetre, ha elsősorban kis költségvetésből (<100.000 forint) több GPU-s környezetet szeretnénk kiépíteni.
Amennyiben viszont elsősorban az a cél, hogy egyetlen számítógépházba beférjen minden, akkor a kriptobányász megoldások mégis kevésbé járható útnak bizonyulhatnak. Az ilyen megoldások már költségesebbek lehetnek, viszont nagyobb teljesítményre is szert tehetünk és kevésbé kell "fapados" megoldásokra támaszkodnunk.
CPU tekintetében nem kell maximalizmusra törekedni, lévén a GPU-k teljesítménye az, ami ilyenkor fontos. Egy négymagos i3-as processzor azért nem árt, mert a fejlesztőeszközök maguk azért fürgébben dolgoznak egy gyorsabb processzorral.
Ugyanígy nem annyira fontos a RAM mennyisége, hiszen a programjainkat megírhatjuk úgy is, hogy több lépésben, inkrementálisan töltsék fel az adatokat a videokártyák memóriájába. Tehát akár 8GB RAM is elegendő lehet, bár ideális esetben ez a videokártya memóriájának két-háromszorosa.
Alaplap szempontjából már nagyobb a kihívás, mert jó, ha tud legalább 3 darab 2 slotos videokártyát fogadni. Az Intel Z790-es chipkészletes alaplapjai nagyon jók ebből a szempontból, akár 4 darab x16-os kártyát is beléjük pakolhatunk. Ide viszont akkor Intel 1700-as foglalatú CPU kell. A teljes x16-os sávszélességet itt továbbá csak egy kártya fogja tudni kihasználni, a többinek be kell érnie x4 sávval, viszont ez a PCIE 4.0 szabványon belül van, ami teljesen elfogadható sebesség és nagyságrendekkel nagyobb, mint amit egy x1-es riser kártyával elérhetünk. Különben a Z790 esetén a chipkészlet képes 3 darab x4-es slot kezelésére is, ami szerintem szenzációsan jó, ha azt nézzük, hogy nem olyan drágák az ilyen alaplapok sem. Mindazonáltal normál renderelés esetén képernyőpuffereket kell csak átzavarni a síneken, ami egy FullHD felbontás esetén ugye kb. 8MB csak. Ez még PCIE 3.0 szabvány esetén sem probléma, még ott is akár >500 fps feletti értékeket ki lehet hozni a dologból.
Videokártyák tekintetében érdemes ugyanabból a kártyából venni több példányt. Az Ampere architektúrára épülő 30x GeForce kártyasorozat már egészen tűrhető áron elérhető. Egy gond van ezekkel: a hűtőrendszerüket nem arra tervezték, hogy szorosan több kártya egymás mellett/alatt legyen. Itt érdemes minél alacsonyabb fogyasztású kártyákban gondolkodni, azok közül is olyanokban, amelyek félpasszív hűtésűek és tényleg 2 slotnál nem igénylnek több helyet. Sajnos nagyon kevés Blower hűtőrendszerű GeForce készül manapság, ez elsősorban a Quadro kártyák területe, de azok hagyományosan aranyárban vannak. A kulcs itt a gépház szellőzésében lehet.
Egy jól szellőző és jól hűthető gépház ugyanis segíthet ellensúlyozni a fenti dillemmát. Két dologra érdemes figyelni: minél kevesebb kacat, kábel stb. legyen a gépházban és minél erősebb ventilátorokat használjunk, amelyeknek nagy a statikus levegőnyomása, pl. 1.2 értékű, vagy a feletti. Gépház tekintetében kihívás lehet olyat találni, amelyik nem túl drága, de 7-nél több PCIE slotnak van helye a hátulján. Itt érdemes 8, de inkább 9, vagy több slotban gondolkodni, hogy a legalsó videokártya is megfelelően tudjon lélegezni és szellőzni. Minél tágasabb a gépház, annál jobb. Sajnos annál drágább is...
A tápegység legyen mindig jó minőségű és legyen benne elegendő "tartalék". A nevesebb gyártók a weboldalaikon "fogyasztási kalkulátor"-okkal igyekeznek segíteni a megfelelő teljesítményű tápegység kiválasztásában. A legfontosabb a videokártyák, a CPU és az alaplap várható energiaszükségletének figyelembe vétele. Alaplap esetében ez akár 70-100W is lehet, pl. egy Z790 alaplap esetén. 5-10W energiát a háttértárolók is fogyasztanak, ill. a memóriamodulok és képesek akár 15W energiát zabálni darabonként. Ezekre mind figyeljünk! Ne centizzük ki a fogyasztást! Például egy 750W-os 92%-os hatékonyságú tápegység esetén ne 690W-ra próbáljuk kicentizni a fogyasztást, hanem kb. 800W-ra! A végén tehát dobjunk rá vagy 20%-ot a várható teljesítményfelvételre. Az elérhető PCIE tápcsatlakozó száma tápegységeknél szintén fontos szempont.
Tapasztalataim alapján egyébként a videokártyák GPU computing feladatok esetén még állandó terhelés mellett is a maximális teljesítményfelvételük töredékét produkálják csak, ami érthető, mivel nincsen kihasználva minden összetett képességük, amelyek elsősorban a videojátékoknál kellenek. Viszont ne építsünk erre, inkább menjünk biztosra!
Az alábbi képen például 3 darab GeForce 3060-as kártya és egy Quadro P400 kártya van a gépben, ami kb. 38GB videomemóriát nyújt, kb. 40TFLOP (FP32) számítási összteljesítmény mellett, ami már igen ütőképes felállás. Utóbbi kártya feladata elsősorban az elsődleges képernyőillesztő szerepének "elvállalása". Mivel ez némi memóriát foglal le a videokártyán és érzékenyebbé is teheti azt nagy memóriafoglalások esetén, érdemes az igazi "erőműveket" nem elsődleges illesztőként használni. Ez némileg megkérdőjelezhető, mivel az x16 csatornát így a leggyengébb kártya foglalja el. Itt megfontolható némi kísérletezés emiatt.
Remélem, ezzel a pár gondolattal tudtam segíteni minden, a téma iránt érdeklődőnek!
Jó GPU programozást kívánok!