Benodig u 'n masjien wat honderde triljoene swaai-punt-berekeninge per sekonde kan lewer? Of het u 'n kroegverhaal nodig oor hoe die superrekenaar in u kelder 'n breker laat omslaan het? Die bou van u eie High Performance Compute -groep, ook bekend as 'n superrekenaar, is 'n uitdaging vir elke kundige met 'n naweek vrye tyd en 'n bietjie geld om te verbrand. Tegnies gesproke is 'n moderne, multi-verwerker superrekenaar 'n netwerk van rekenaars wat parallel werk om 'n probleem op te los. Hierdie artikel beskryf elke stap in die proses kortliks, met die fokus op hardeware en sagteware.
Stappe
Stap 1. Bepaal eers die hardeware komponente en hulpbronne wat benodig word
U benodig een kopknoop, ten minste 'n dosyn identiese rekenknope, 'n Ethernet -skakelaar, 'n kragverspreidingseenheid en 'n rek. Bepaal die elektriese vraag, verkoeling en benodigde ruimte. Besluit ook watter IP -adres u vir u privaat netwerke wil hê, wat u die nodusse moet noem, watter sagtewarepakkette u wil installeer en watter tegnologie u die parallelle rekenaarvermoëns wil bied (meer hieroor later).
- Alhoewel die hardeware duur is, is alle sagteware wat in hierdie instruksies gelys word, gratis, en die meeste is open source.
- As u wil sien hoe vinnig u superrekenaar teoreties sou wees, gebruik hierdie instrument:
Stap 2. Bou die rekenknope
U moet die rekenknooppunte bymekaarmaak of voorafgeboude bedieners aanskaf.
- Kies 'n rekenaarbediener -onderstel wat ruimte, verkoeling en energie -doeltreffendheid maksimeer.
- Of u kan 'n dosyn gebruikte, verouderde bedieners gebruik - waarvan die geheel die totaal van hul onderdele weeg, maar u 'n aansienlike hoeveelheid geld bespaar. Alle verwerkers, netwerkadapters en moederborde moet identies wees sodat die hele stelsel mooi kan saamspeel. Vergeet natuurlik nie die geheue en berging vir elke knoop nie en ten minste een optiese skyf vir die kopknoop.
Stap 3. Installeer die bedieners in die rek
Begin van onder af, sodat die rek nie te swaar is nie. U het 'n vriend nodig om u hiermee te help - die digte bedieners kan baie swaar wees en dit is moeilik om hulle in die spore te hou wat hulle in die rek hou.
Stap 4. Installeer die Ethernet -skakelaar bo die bediener -onderstel
Neem hierdie oomblik om die skakelaar te konfigureer: maak voorsiening vir jumbo -raamgroottes van 9000 grepe, stel die IP -adres in op die statiese adres waarop u in stap 1 besluit het, en skakel onnodige routeringsprotokolle soos SMTP Snooping uit.
Stap 5. Installeer die PDU (Power Distribution Unit)
Afhangende van die hoeveelheid stroom wat u nodusse benodig by die maksimum las, benodig u moontlik 220 volt vir hoëprestasie -rekenaars.
Stap 6. Met alles geïnstalleer, kan u die konfigurasieproses begin
Linux is die de facto bedryfstelsel vir HPC -groepe - dit is nie net die ideale omgewing vir wetenskaplike rekenaars nie, maar dit kos ook niks om dit op honderde of selfs duisende nodusse te installeer nie. Stel jou voor hoeveel dit sou kos om Windows op al die nodusse te installeer!
- Begin met die installering van die nuutste weergawe van die moederbord -BIOS en firmware, wat op alle nodusse dieselfde moet wees.
- Installeer u Linux -distro wat u verkies op elke knoop, met 'n grafiese UI vir die kopknoop. Gewilde keuses sluit in CentOS, OpenSuse, Scientific Linux, RedHat en SLES.
- Hierdie skrywer beveel sterk aan dat u die Rocks Cluster Distribution gebruik. Benewens die installering van al die gereedskap wat nodig is om 'n rekenaargroep te laat funksioneer, gebruik Rocks 'n uitstekende metode om baie gevalle vanself vinnig na die nodusse te versprei met behulp van PXE -opstart en die Red Hat 'Kick Start' -prosedure.
Stap 7. Installeer die koppelvlak vir boodskappe, hulpbronbestuurder en ander nodige biblioteke
As u Rocks nie in die vorige stap geïnstalleer het nie, moet u die nodige sagteware handmatig instel om parallelle rekenaarmeganismes moontlik te maak.
- Eerstens benodig u 'n draagbare bash-bestuurstelsel, soos die Torque Resource Manager, waarmee u take kan opbreek en versprei na verskeie masjiene.
- Koppel die koppel met die Maui Cluster Scheduler om die opstelling te voltooi.
- Vervolgens moet u die koppelvlak vir boodskappe deurgee, wat nodig is vir die individuele prosesse op die aparte rekenknope om dieselfde data te deel. OpenMP is 'n no-brainer.
- Moenie vergeet van die multi-threading wiskunde biblioteke en samestellers om u parallelle rekenaarprogramme te bou nie. Het ek genoem dat u net Rocks moet installeer?
Stap 8. Skakel die rekenknope saam
Die kopknooppunt stuur die berekeningstake na die rekenknope, wat weer die resultaat moet terugstuur, sowel as om boodskappe aan mekaar te stuur. Hoe vinniger hoe beter.
- Gebruik 'n privaat ethernet -netwerk om al die nodusse in die groep te verbind.
- Die kopknoop kan ook as 'n NFS-, PXE-, DHCP-, TFTP- en NTP -bediener oor die Ethernet -netwerk dien.
- U moet hierdie netwerk van openbare netwerke skei, wat verseker dat uitsaaipakkies nie inmeng met ander netwerke in u LAN nie.
Stap 9. Toets die groep
Die laaste ding wat u dalk wil doen voordat u al hierdie rekenkrag aan u gebruikers oorgee, is om die prestasie daarvan te toets. Die HPL (High Performance Lynpack) maatstaf is 'n gewilde keuse vir die meting van die rekenspoed van die groep. U moet dit uit die bron saamstel met alle moontlike optimalisasies wat u samesteller bied vir die argitektuur wat u gekies het.
- U moet natuurlik uit die bron saamstel met alle moontlike optimaliseringsopsies vir u platform. Byvoorbeeld, as u AMD -SVE's gebruik, moet u saamstel met Open64 met 'n -0 -vinnige optimaliseringsvlak.
- Vergelyk u resultate op TOP500.org om u groep te vergelyk met die vinnigste 500 superrekenaars ter wêreld!
Video - Deur hierdie diens te gebruik, kan sommige inligting met YouTube gedeel word
Wenke
- Kyk na die InfiniBand -netwerkkoppelvlakke vir werklik hoë netwerksnelhede. Wees egter bereid om premiepryse te betaal.
- IPMI kan die administrasie van 'n groot groep 'n briesie maak deur KVM-over-IP, kragopbrengs op afstand, en meer te verskaf.
- Gebruik Ganglia om die rekenaarlading op die nodusse te monitor.
