Ce este un Centru de Date cu Inteligență Artificială? [Video și Chestionar]

Răspuns scurt: Un centru de date cu inteligență artificială este un cu densitate mare, unde alimentarea, răcirea, structura și stocarea sunt concentrate pe modele de antrenament și deservire, nu pe o cameră de servere cu GPU-uri suplimentare. Cipurile devin faimoase; clădirea decide dacă funcționează. Dacă imaginile nu pot pleca, modernizează o celulă mică; majoritatea echipelor ar trebui să închirieze.

Concluzii cheie:

Cipuri vs. construcție: Puterea, răcirea, structura și stocarea decid dacă acceleratoarele funcționează.

Locuri, nu palate: Modernizați două rack-uri atunci când datele nu pot pleca; nu cumpărați un campus.

Medie vs. mediană: La opt rulări, valoarea mediană hid repornește; utilizați media pe 18 ore.

Rezistență la utilizare abuzivă: Nu specificați un PUE pentru două rafturi într-o hală mixtă.

Rezultate ilustrative: Opt runde reprezintă o hartă mică, nu o economie de producție de 50%.

Articole pe care ți-ar putea plăcea să le citești după acesta:

🔗 Este IA fiabilă? Videoclip și test
Explorează fiabilitatea IA printr-un videoclip captivant și un test interactiv.

🔗 Cum să folosești IA în viața de zi cu zi
Descoperă modalități practice prin care IA poate simplifica sarcinile și rutinele zilnice.

🔗 Cum să folosești inteligența artificială la locul de muncă
Învață modalități practice de a utiliza inteligența artificială pentru o productivitate mai inteligentă la locul de muncă.

🔗 Poate inteligența artificială să gândească singură?
Înțelegeți dacă inteligența artificială poate gândi cu adevărat independent sau poate raționa.

Cum diferă de un centru de date „normal”

Sălile tradiționale sunt optimizate pentru sarcini de lucru mixte și timp de funcționare activă pentru o mulțime de servicii mici. Vă interesează redundanța, sigur, și conceptul de PUE - energia suplimentară pe care clădirea o consumă pentru a furniza un watt de putere de calcul. De obicei, nu proiectați fiecare coridor în jurul unui rack care se comportă ca o centrală termică portabilă.

Site-urile cu inteligență artificială inversează rapoartele. Densitatea crește. Rețeaua devine o structură fără de care jobul de antrenament nu poate șchiopăta. Stocarea trebuie să mențină punctele de control în mișcare, altfel acceleratoarele stau inactive, precum caii de curse într-un ambuteiaj.

Există și o diferență culturală. Operațiunile din cadrul întreprinderilor se gândesc la tichete și ferestre de modificare. Operațiunile din cadrul inteligenței artificiale se gândesc la cozile de joburi și la senzația de rău atunci când un nod se stinge târziu pe termen lung. Cred că ai putea numi ambele „centre de date”, pentru că așa sunt. Eticheta doar ascunde instalațiile sanitare.

Nu o clasificare morală. Mașini diferite, același nume de familie.

GPU-uri, acceleratoare și rack-ul care consumă energie

Dacă mergi pe o podea tradițională ridicată, rafturile par aproape politicoase. Dacă mergi pe un rând de inteligență artificială, par că vor să înghită clădirea.

Hardware-ul remarcabil nu este un procesor inteligent. Este tava acceleratorului: GPU-uri sau alte cipuri AI, încorporate în servere, apoi în rack-uri, apoi în rânduri care partajează o structură cu lățime de bandă mare. Interconexiunile GPU-urilor îmbină cipurile într-un sistem care poate pretinde a fi un accelerator gigantic; structura clusterului face același lucru la scară de rând. Antrenamentul paralel funcționează doar dacă aceste legături rămân complexe și previzibile. Dacă renunți la asta, „clusterul” tău va deveni o grămadă de stații de lucru scumpe care partajează același cod poștal.

Puterea urmează cipurile. Nu o unitate PDU voluminoasă de birou. Megawați de sarcină IT odată ce o sală se umple - nu voi inventa un număr. Densitatea per rack este răsturnarea de situație. Mai puține rack-uri. Fiecare un mic cuptor. Factorul limitator este adesea substația, nu lista de GPU-uri dorite. Știți cum stau lucrurile: achizițiile doresc mai multe acceleratoare; utilitățile vor o conversație lungă și un cec foarte mare.

O metaforă puțin cam prostească de care nu mă pot desprinde: turma e un animal flămând. Poți reproduce unul mai rapid. Tot trebuie să-l hrănești și tot trebuie să elimini căldura. Dacă renunți la oricare dintre ele, devine un prespapier foarte costisitor.

Problema energiei, căldurii și răcirii

Electricitate înăuntru. Căldură afară. Aceasta este întreaga religie.

Rafturile de înaltă densitate eliberează căldura într-un mod în care aerul nu a fost niciodată nevoit să îl gestioneze. Poți împinge aerul mai tare - schimbătoare de căldură în spatele ușilor, culoare mai calde, izolare inteligentă - și asta funcționează până la un punct. Apoi apare lichidul:

• Răcire directă pe cip

• Bucle de răcire care fac ca sala de instalații să arate ca o fabrică chimică

• Imersiune în câteva modele, care încă îi uimește pe cei care cred că apa și servitorii nu ar trebui să împartă aceeași propoziție

Nimic din toate acestea nu este atrăgător. Totul este produsul, pentru că un accelerator care limitează viteza este unul pentru care ai plătit deja și pe care nu îl poți folosi pe deplin.

Consumul energetic actual (PUE) contează în continuare. Este un raport, nu o personalitate. Operatorii îl urmăresc pentru că fiecare watt cheltuit pe ventilatoare și pompe este un watt care nu a mers la un GPU. Nu voi cita o cifră „tipică”; clima și modul în care trasezi limita o modifică, iar precizia falsă e mai rea decât deloc. Și apa face parte din poveste. Unele plante soarbe. Altele înghit în sec. Răcirea prin evaporare este eficientă până când râul sau o secetă o transformă în ceva politic.

Networking: de ce materialul textil contează la fel de mult ca cipurile

Oamenii fotografiază GPU-urile. Ar trebui să fotografieze switch-urile.

Antrenamentul este o conversație. Mii de acceleratoare care schimbă gradienți, parametri, fragmente ale unui model, în sincronizare strânsă. Dacă structura interfacială (structure) oscilează, întreaga sarcină așteaptă cel mai lent salt. De aceea, sălile de inteligență artificială sunt obsedate de rețelele cu lățime de bandă mare, latența redusă și topologiile care nu se îndoiesc atunci când o legătură eșuează. Strângeri de tip InfiniBand, Ethernet în același rol, interconexiuni GPU în interiorul cutiei, cablare care trebuie să fie corectă de prima dată.

Inferența este o altă discuție. Servirea modelelor ține cont de latența cozii - răspunsul lent, nu cel obișnuit. Batch vs. timp real împarte personalitatea. Un cluster de antrenament dorește mișcare densă, colectivă, de la toți la toți. O flotă de servire dorește mai multe cereri mai mici și izolare, fără blocaje la nivelul echilibratorului de încărcare.

Rata, cât timp sunt aici: oamenii tratează rețeaua ca pe o instalație sanitară și chipsurile ca pe un restaurant. În clădirea asta, instalațiile sanitare sunt restaurantul. Dacă ratezi asta, cumperi o bucătărie care nu poate prelua livrări.

Antrenament vs. inferență: două clădiri, uneori la propriu

Antrenamentul este o campanie. Asamblezi un cluster, îl alimentezi cu date, faci checkpoint-uri cu sfințenie, rulezi ore sau săptămâni și te rogi ca structura să rămână fără evenimente. Greu de loturi, însetată de lățime de bandă, răbdătoare în liniște - până când un nod defect întrerupe rularea. Un accelerator defect într-un job strâns cuplat poate bloca întregul refren.

Inferența este o vitrină. Modele deja antrenate, acum răspund la întrebări, clasifică imagini, generează text. Latența contează. Un accelerator puțin mai vechi, aflat în apropierea clientului, poate depăși unul elegant, aflat la un continent distanță.

Deci ai o împărțire. Campusurile de formare urmăresc puterea, terenul și densitatea. Site-urile de inferență urmăresc latența și prezența. Există și săli hibride, pentru că capitalul nu este infinit. Ei bine - nu întotdeauna două clădiri. Uneori, o sală cu o frânghie de catifea și două bucle de răcire.

Aici intervin și colocația, campusurile hiperscalare și bifurcația on-prem. Hiperscalarele se construiesc la scări care ne fac pe ceilalți să părem că aranjăm mobilă. Colo-urile vând densitate la nivel de rack. On-prem are loc și atunci când datele nu pot pleca.

Capacitate de stocare, puncte de control și cipuri înfometate

Nimeni nu pune sistemul de fișiere paralel pe coperta broșurii.

Datele de antrenament trebuie să sosească suficient de repede încât GPU-urile să nu se mai miște. Punctele de control trebuie să apară pentru ca o eroare să nu piardă o săptămână. Ponderile modelului trebuie să se încarce înainte ca o replică să fie disponibilă. Randamentul de stocare - nu doar capacitatea - este blocajul discret. Poți cheltui o avere pe acceleratoare și le poți priva de o matrice politicoasă concepută pentru mașini virtuale.

Modelul este familiar: un cluster strălucitor, o coadă de joburi și o așteptare I/O care se uită înapoi ca o factură nepoliticoasă. Gruparea calculelor fără gruparea căii de date este modul în care obții o inactivitate foarte costisitoare. Menține cipurile alimentate sau recunoaște că ai cumpărat o sculptură.

Software, orchestrare și stratul operațional lipsit de farmec

Hardware-ul este vedeta. Planificatorii fac treaba.

Un centru de date bazat pe inteligență artificială este inutil dacă joburile nu pot găsi GPU-uri, dacă două echipe nu pot partaja un cluster fără o ceartă, dacă un rang eșuat nu poate fi înlocuit, dacă firmware-ul se deplasează în derivă până când structura de procesare eșuează cu încetinitorul. Orchestrare, observabilitate, limitare a puterii - stratul operațional lipsit de farmec, care este motivul pentru care știi că contează.

Am o slăbiciune pentru acest nivel. De asemenea, atunci când o placă de rețea configurată greșit se preface a fi o problemă de răcire timp de o după-amiază întreagă... descoperi asta pe calea cea grea.

Când un nod moare în timpul execuției

Un nod moare. Ferestrele de modificare continuă să se ciocnească cu rulări de antrenament cărora nu le pasă de calendarul tău. Planifici în grup joburi mari, delimitezi grupuri de inferențe, scrii registre de runbook-uri pentru eșecuri care arată ca „jobul este lent” până când arată ca „jobul este mort”. Redundanța contează în continuare - alimentare, răcire, căi, stocare - dar modul de eșec este mai puțin ordonat decât vechiul diapozitiv de nouă de funcționare. Inferență: replică, golește nodul bolnav, continuă să răspunzi. Antrenamentul necesită puncte de control, nu optimism.

Locație, apă, rețea și vecini

Nu scapi una din astea lângă o cabană pentru priveliște.

Conectarea la rețea este adesea adevăratul proces de selecție a amplasamentului. Terenul este ușor de gestionat în comparație cu o substație și o utilități care are alți clienți. Apa pentru răcire, dacă o folosești, devine o problemă pentru vecini imediat ce precipitațiile sunt aspre. Zgomot. Volumul vizual. Căldura la un gard de delimitare. Comisiile de planificare descoperă opinii despre „nor” în momentul în care are nevoie de un câmp și un râu.

Latența trage în cealaltă direcție. Inferența preferă să fie aproape de utilizatori și de interconectări. Antrenamentul se poate ascunde pe piețe de energie mai ieftine și în climate mai reci. Industria vorbește ca și cum ar exista un singur loc perfect. Nu există. Există un compromis cu un comunicat de presă.

Căldura rămasă și cuptorul neinvitat

Broșurile adoră acest aspect. Conduceți căldura reziduală în case, piscine, sere; este o propoziție frumoasă. Uneori, circuitul energetic al districtului este autentic. Uneori, campusul este în locul nepotrivit, iar căldura tot se răspândește în aer. Sunt sceptic în privința versiunii din broșură; nu sunt sceptic în privința fizicii.

Cine are nevoie de unul (și cine ar trebui să închirieze în schimb)

Majoritatea oamenilor nu trebuie să dețină una dintre aceste săli.

Lista directă:

• Hiperscalatoare, deoarece produsul este flota

• Laboratoare, când timpul de așteptare este un blocaj sau datele nu pot pleca

• O bancă, un grup spitalicesc, un guvern sau un producător cu un set de date secret - local sau într-o locație privată - poate fi rațional, chiar dacă este o problemă

Toți ceilalți ar trebui să închirieze. Colocație cu densitate pregătită pentru inteligență artificială. O rezervare în cloud. Un cluster gestionat. Obții acceleratoarele fără a deveni și operator de centrală electrică. Romantismul se estompează prima dată când cineva întreabă cine este de gardă pentru bucla de lichid de răcire la ora 3 dimineața.

Recunosc că există o chestie de mândrie. Deținerea clusterului este ca și cum ai deține mijloacele de predicție. Apoi vine factura la electricitate, iar mândria se așază.

Pentru ce este clădirea

Deci, ce este un Centru de Date AI? Un campus specializat, cu densitate mare, unde acceleratoarele, alimentarea cu energie, răcirea, structura și stocarea sunt organizate în jurul unor modele de antrenament și servire - nu în jurul unui IT de uz general cu un GPU la colț. Arată ca un depozit. Se comportă ca o centrală electrică care face calcule matematice.

Dacă nu vă mai amintiți nimic altceva: cipurile capătă faima; substația, lichidul de răcire și rețeaua decid dacă acele cipuri au fost o idee bună. Instruirea și inferența pot avea același acoperiș; totuși, își doresc maniere diferite. Majoritatea organizațiilor ar trebui să închirieze. Câteva ar trebui să construiască. Vecinii vor observa în ambele cazuri.

Norul a avut întotdeauna o clădire. În zilele noastre, clădirea are opinii.

Exemplu din lumea reală: O celulă de antrenament cu două rack-uri când imaginile nu pot pleca

Scenariu

Tomos este șeful departamentului de infrastructură la Kestrel Precision, un producător cu 400 de angajați din West Midlands. Au deja o mică hală locală: ERP, partajări de fișiere, mașini virtuale, mediul mixt de cartier cu care a început acest articol. Răcire cu aer. Ethernet obișnuit. Un SAN perfect adaptat pentru discurile de birou.

Echipa de viziune artificială trebuie să antreneze un model de inspecție pe imagini statice din fabrică. Imaginile statice nu pot părăsi șantierul. Acestea prezintă un proces pe care compania nu îl va pune pe un disc în cloud, nici măcar unul privat. Soluția departamentului de Achiziții constă în patru servere cu accelerator dual și un diapozitiv intitulat „centrul nostru de date cu inteligență artificială”. Serverele se montează în două rack-uri existente, deoarece există spațiu, iar spațiul părea o constrângere.

Nu este așa. În decurs de două săptămâni, GPU-urile par a fi ocupate, apoi se blochează încet. Joburile se târăsc când un punct de control ajunge pe SAN. Un nod se stinge la ora unsprezece și rularea pur și simplu... s-a terminat. Tomos a cumpărat cipuri. A cumpărat o grămadă de stații de lucru scumpe care au același cod poștal. Clădirea era încă o hală de afaceri.

Nu au nevoie de un campus, de o nouă substație sau de un râu. Au nevoie de o celulă mică care se comportă ca un centru de date AI în miniatură: energie pe care rack-urile o pot stoca efectiv, căldură care dispare fără a găti cipurile, o structură prin care sarcina de antrenament poate fi transmisă, stocare care poate prelua un punct de control și un registru de operare pentru momentul în care un nod se stinge. Deoarece imaginile nu pot pleca, închirierea unei coloane de stocare la patruzeci de minute distanță nu este soluția. Modernizarea a două rack-uri este soluția.

De ce are nevoie celula

• Un buget de energie măsurat pe acel rând, din PDU-uri, nu din lista de dorințe GPU. Dacă capacitatea de rezervă nu poate alimenta cele patru servere la sarcina de antrenament, conversația se oprește aici și se uită la o culoare mai densă, nu la un miracol

• Răcirea aerului nu a fost niciodată solicitată la această densitate: schimbătoare de căldură de pe ușa din spate, dacă holul le poate suporta, sau o buclă mică de lichid, dacă poate suporta asta. Dacă niciuna dintre acestea nu este posibilă, serverele nu intră

• O rețea dedicată cu lățime de bandă mare între cele patru noduri, nu Ethernet-ul biroului. Dacă furnizorul are în catalog doar un switch de 10 Gb, acesta nu este un cluster

• Stocare locală rapidă pentru puncte de control și fragmente de antrenament, nu SAN-ul mașinii virtuale

• Un planificator, un interval de punct de control și o cale de repornire scrisă. Hardware-ul este vedeta. Acest strat este jobul

• O cutie de inferență împrejmuită pentru linia de producție, separată de chatter-ul de antrenament, deoarece servirea necesită latență și izolare la coadă, nu un colectiv

• Permisiunea de a înregistra consumul de energie, frecvențele GPU, evenimentele de limitare a frecvenței și frecvența de lucru. Dacă nu le pot inspecta, vor fotografia GPU-urile și vor rata comutatoarele

Exemplu de instrucțiuni

Tomos prezintă acest lucru în descrierea facilităților, în limbaj obișnuit:

Nu numiți asta un campus de inteligență artificială. Construiți o celulă de antrenament cu două rack-uri în hala existentă pentru patru servere cu accelerator dual. Imaginile din fabrică rămân la fața locului. Succesul constă în: cele patru noduri finalizează o rețetă de inspecție-antrenament de 12 epoci fără limitare termică, scriu un punct de control în minute, nu în zeci de minute, și reiau de la acel punct de control atunci când oprim intenționat un rang. Răcirea trebuie să mențină GPU-urile la ceasurile lor de antrenament. Rețeaua trebuie să fie o structură pe care aceste patru unități o împart, nu o cale prin stiva biroului. Stocarea trebuie să alimenteze cipurile. Dacă schimbătoarele de căldură din spate nu se potrivesc, spuneți-o și opriți-vă. Nu citați un PUE pentru două rack-uri într-o hală mixtă. Acel număr ar fi teatru de operațiuni.

Apoi pune asta în jobul de antrenament în sine:

Punct de control la fiecare 30 de minute către grupul rapid local. Dacă un rang moare, reporniți de la ultimul punct de control complet. Nu așteptați SAN-ul. Nu continuați antrenamentul cât timp ceasurile au scăzut de la căldură. Înregistrați-l și opriți-vă ca să putem vedea blocajul.

O oră bună arată așa: toate cele opt GPU-uri la cicluri de antrenament, fișierul punctului de control a ajuns, jobul încă în sincron. O oră proastă arată așa: ventilatoarele la maxim, ciclurile de antrenament nefuncționale, punctul de control 2% scris după zece minute și cineva din birou spunând „clusterul este pornit”. Pornit nu înseamnă antrenament.

Cum să îl testezi

Ei scriu testul înainte de modernizare, acesta fiind motivul principal pentru care nu ai încredere într-o demonstrație.

• Aceeași rețetă din 12 epoci, aceleași 120.000 de fotografii inspectate, opt cicluri

• Cronometrarea este ceas de perete pentru o rețetă finalizată, inclusiv orice repornire, măsurată de la trimiterea lucrării până la ultimul punct de control al epocii 12

• O trecere pe căldură: frecvențele GPU rămân la ținta de antrenament pentru rulare. Un eveniment de limitare a frecvenței este un eșec chiar dacă jobul se termină în cele din urmă

• O trecere în stocare: timpul de scriere la punctul de control, medianul și cel mai slab, din jurnalul de joburi

• O pasă asupra materialului: sarcina nu stă în așteptare colectivă cât timp un rang este sănătos. Dacă nu pot vedea acea așteptare, instrumentația nu este terminată

• Două dintre cele opt runde duc la eliminarea unui rang la o anumită etapă, intenționat, pentru a testa calea de repornire

• Inferența este un test separat de 200 de imagini de la linia de lansare a fabricii până la cutia de servire împrejmuită. Succesul antrenamentului nu contează ca succes la servire

• Înregistrează puterea din rack de la PDU-uri în eșantioane de 15 minute, astfel încât nimeni nu trebuie să inventeze un megawatt

Acceptarea denumirii celulei „pregătită pentru AI”: 8 din 8 rețete se termină; 0 din 8 arată limitarea temperaturii; ambele rulări închise se reiau; punctele de control rămân în minute. Chiar dacă ratează această valoare, tot au o cameră de servere cu plăci grafice sofisticate.

Rezultat

Rezultat ilustrativ, dintr-un test inventat de opt runde, nu o figură Kestrel publicată.

Presupuneri: patru servere cu accelerator dual în două rack-uri; un model de inspecție; 120.000 de imagini statice; opt rulări ale unei rețete fixe de 12 epoci; ceasul de perete include reporniri până la finalizarea rețetei; limitatorul de viteză înseamnă o scădere înregistrată a timpului de antrenament; timpul punctului de control este scrierea, nu dorința; alimentarea rack-ului reprezintă mostrele PDU, nu un PUE din campus.

Înainte de modernizare, GPU-urile din rack-urile obișnuite răcite cu aer pe Ethernet-ul biroului și SAN-ul mașinilor virtuale:

• 5 din 8 alergări terminate la prima încercare. Mediana timpului de alergare printre cele cinci: 14 ore

• 3 din 8 au trebuit să reînceapă după o blocare în jurul orei 11 (două după ce un nod a murit cu un punct de control învechit, unul după ce un punct de control a umplut SAN-ul). Reîncercare imediată, fără așteptare peste noapte: 11 ore pierdute plus o a doua încercare de 14 ore sau 25 de ore pentru o rețetă finalizată pe cele trei

• Timpul mediu până la finalizarea unei rețete pentru toate cele opt, inclusiv repornirile: 18 ore. (Cinci la 14 ore, trei la 25 de ore. Mediana tuturor celor opt este tot 14 ore, ceea ce ar ascunde repornirile. De aceea, media este valoarea de referință aici.)

• Limitarea termică a accelerației a fost înregistrată în 7 din 8 încercări. Timpul median la ceas redus: 3 ore într-o încercare de 14 ore

• Scriere la punctul de control: mediană 22 de minute

• Uciderea prin rang nu era un test pe care îl puteau trece. Nu aveau un manual de verificare. Cele două morți accidentale au fost descoperirea..

• Sarcină IT maximă pe cele două rack-uri în timpul antrenamentului: aproximativ 18 kW. Rândul avea puterea necesară. Nu avea răcirea sau structura necesară

După schimbătoarele de căldură din spate pe cele două rack-uri, o structură dedicată între cele patru noduri, un mic pool NVMe pentru puncte de control, puncte de control la 30 de minute și un registru de repornire:

• 8 din 8 terminate la prima încercare. Ceas de perete median: 9 ore

• Accelerație termică: 0 din 8

• Scriere punct de control: mediană 90 de secunde. Cel mai slab timp din set: 3 minute

• Cele două ucideri deliberate bazate pe rang au fost reluate de la ultimul punct de control de 30 de minute. Un cronometru suplimentar pentru aceste două runde: aproximativ 40 de minute fiecare, inclusiv diagnosticul, așa că cele două au durat aproape 9 ore și 40 de minute. Media pe opt runde statice a ajuns la 9 ore

• Sarcină IT maximă tot de aproximativ 18 kW. Aceleași cipuri. Comportament diferit al clădirii

În acest eșantion, timpul mediu până la finalizarea unei rețete a scăzut de la 18 ore la 9 ore, sau 9 ore fiecare, câte 72 de ore în opt cicluri. „Terminat de prima dată” a scăzut de la 5 din 8 la 8 din 8. „Accelerarea” a scăzut de la 7 din 8 la 0 din 8. Ultimul număr este cel care indică dacă au cumpărat acceleratoare sau prese de hârtie. Nu vor numi schimbarea de timp o economie de 50% în producție. Opt cicluri reprezintă un set mic și ușor de realizat.

Aceste cifre reprezintă un exemplu de estimare bazat pe testul menționat, un eșantion mic, un model și o sală mixtă. Nu reprezintă un PUE (Experience Energie-Exploatare), nu un megawatt al campusului și nu dovedesc că Kestrel ar trebui să construiască un loc de antrenament pe teren. O analiză a jurnalelor de bord a evidențiat datele de 9 ore; nu au ascuns acest lucru. Cifra de 18 kW este o citire rotunjită a PDU, nu o factură de utilități. Nu au convertit cele 72 de ore într-un cost, deoarece tariful mixt al energiei electrice al fabricii ar fi reprezentat un caz de afaceri fals.

Verificarea servirii a fost separată și mai mică: 200 de imagini liniare către cutia împrejmuită, toate la fața locului. Aceasta este o deducție, nu o instruire. Amestecarea celor două ar fi fost greșeala în miniatură a sălii hibride.

Ce poate merge prost

• Departamentul de Achiziții numește încontinuu patru servere „centrul de date AI”. Eticheta ascunde instalațiile sanitare, iar următoarea achiziție este reprezentată de mai multe GPU-uri pentru aceeași secție de servicii medicale

• Schimbătoarele de căldură de la ușa din spate intră și nimeni nu pune în funcțiune partea cu apă. Ventilatoarele încă strigă. Ceasurile încă coboară

• Fabric-ul este un singur switch fără o cale de rezervă. O singură legătură defectă și „clusterul” este din nou format din patru stații de lucru

• Punctele de control rămân pe SAN deoarece pool-ul NVMe era în „faza a doua”. Faza a doua nu ajunge înainte de următorul nod inactiv

• Ei citează un PUE pentru două rafturi într-o hală mixtă. Clima, limitele și restul rândului ERP fac din acest raport o costumație

• Instruirea și servirea împart structura. O inundație a punctelor de control face ca linia de producție să aștepte. Latența finală este produsul prezent, nu densitatea

• Un nod se stinge și cineva îl tratează ca pe un tichet de funcționare în loc de o repornire la un punct de control. Operatorii din cadrul companiei și cei din cadrul operatorilor de inteligență artificială discută pe ascuns o după-amiază întreagă

• Ar fi putut închiria o cușcă, doar că imaginile nu pot pleca. Uitând de acea constrângere, vor intra într-o conversație în nor, de care vor trebui să se relaxeze

Concluzie practică

Ceea ce este un Centru de Date AI, în această formă, nu este un depozit și nici o factură GPU. Este celula care permite acceleratoarelor să termine procesul: energie pe care o pot stoca, căldură care părăsește, o structură, un punct de control și cineva responsabil atunci când un rang moare. Kestrel nu avea nevoie de un campus. Aveau nevoie de două rack-uri pentru a nu se mai preface. Majoritatea echipelor ar trebui să preia acest comportament. Câteva, cu un set de date secret și o sală care poate suporta căldura, ar trebui să construiască o celulă și să refuze alunecarea.

FAQ

Ce este un Centru de Date cu Inteligență Artificială?

Un site de calcul cu densitate mare, unde alimentarea, răcirea, rețeaua și stocarea sunt concentrate pe antrenament paralel și servirea modelelor, nu pe rânduri ordonate de servere de uz general. Este conceput astfel încât un număr mare de acceleratoare să poată antrena și servi modele fără a se topi, a stagna în rețea sau a aștepta pe disc. O hală de întreprindere obișnuită este un cartier mixt. O hală de inteligență artificială este o monocultură a cărei unitate de valoare este acceleratorul, cum ar fi GPU-urile sau cipurile de tip TPU. Arată ca un depozit și se comportă ca o centrală electrică care face calcule matematice.

Cum diferă un centru de date bazat pe inteligență artificială de un centru de date obișnuit?

Sălile tradiționale se optimizează pentru sarcini de lucru mixte și timp de funcționare activă pentru o mulțime de servicii mici. Site-urile bazate pe inteligență artificială inversează rapoartele: densitatea crește, rețeaua devine o structură fără de care jobul de antrenament nu poate șchiopăta, iar stocarea trebuie să mențină punctele de control în mișcare sau acceleratoarele stau inactive. Operațiunile din cadrul întreprinderilor se gândesc la tichete și ferestre de modificare. Operațiunile bazate pe inteligență artificială se gândesc la cozile de joburi și la senzația de rău atunci când un nod se stinge târziu pe termen lung. Încă ați putea apela la ambele centre de date. Eticheta ascunde doar instalațiile sanitare.

De ce consumă centrele de date bazate pe inteligență artificială atât de multă energie?

Hardware-ul remarcabil nu este un procesor inteligent. Este platforma acceleratorului: GPU-uri sau alte cipuri AI, încorporate în servere, apoi în rack-uri, apoi în rânduri care partajează o structură cu lățime de bandă mare. Densitatea per rack este răsturnarea de situație: mai puține rack-uri, fiecare dintre ele un mic cuptor. Megawați de sarcină IT apar odată ce o sală se umple, deși inventarea unei cifre tipice nu merită. Factorul limitativ este adesea substația, nu lista de GPU-uri dorite.

Cum sunt răcite centrele de date cu inteligență artificială?

Rack-urile de înaltă densitate eliberează căldura într-un mod în care aerul nu a fost niciodată nevoit să îl gestioneze. Puteți împinge aerul mai tare cu schimbătoare de căldură cu uși din spate, culoare mai calde și o izolare inteligentă. Apoi apare lichidul: răcire directă pe cip, bucle de răcire și imersiune în câteva modele. Un accelerator care limitează consumul este unul pentru care ați plătit deja și nu îl puteți utiliza pe deplin. Consumul energetic actual (PUE) contează în continuare, deoarece fiecare watt cheltuit pe ventilatoare și pompe este un watt care nu a mers la un GPU. Și apa este prezentă în poveste: unele plante soarbe, altele înghit.

De ce contează rețeaua la fel de mult ca GPU-urile?

Antrenamentul este o conversație: mii de acceleratoare care schimbă gradienți, parametri și fragmente ale unui model în strânsă sincronizare. Dacă structura interfacială se întrerupe, întreaga sarcină așteaptă cel mai lent salt. De aceea, sălile de inteligență artificială sunt obsedate de rețelele cu lățime de bandă mare, latența redusă, structurile interfaciale de tip InfiniBand sau Ethernet în același rol și topologiile care nu se îndoiesc atunci când o legătură eșuează. Inferența se preocupă de latența finală, de numeroasele solicitări mai mici și de izolare. În această clădire, instalațiile sanitare sunt restaurantul.

La ce se folosește un Centru de Date cu Inteligență Artificială: pentru antrenament sau pentru inferență?

Antrenamentul este o campanie: asamblează un cluster, alimentează-l cu date, efectuează un control strict și rulează-l timp de ore sau săptămâni. Inferența este o vitrină: modele deja antrenate, care acum răspund, cu o latență care contează. Campusurile de instruire urmăresc puterea, terenul și densitatea. Site-urile de inferență urmăresc latența și prezența. Sălile hibride există deoarece capitalul nu este infinit, uneori o sală cu două bucle de răcire. Un accelerator puțin mai vechi, în apropierea clientului, poate învinge unul atrăgător, aflat la un continent distanță.

De ce este importantă stocarea într-un centru de date cu inteligență artificială?

Datele de antrenament trebuie să sosească suficient de repede încât GPU-urile să nu se mai strice. Punctele de control trebuie să apară pentru ca o eroare să nu piardă o săptămână. Ponderile modelului trebuie să se încarce înainte ca o replică să fie disponibilă. Randamentul de stocare, nu doar capacitatea, este blocajul discret. Poți cheltui o avere pe acceleratoare și le poți priva de o matrice politicoasă concepută pentru mașini virtuale.

Ce se întâmplă când un nod moare în timpul execuției?

Un accelerator nefuncțional într-un job de antrenament strâns cuplat poate bloca întregul cor. Antrenamentul necesită puncte de control, nu optimism. Inferența drenează nodul bolnav, menține o replică care răspunde și rămâne activă. Ferestrele de modificare se ciocnesc în continuare cu rulările de antrenament cărora nu le pasă de calendarul dvs. Redundanța este încă importantă pentru alimentare, răcire, căi și stocare, dar modul de eroare este mai puțin ordonat decât vechiul diapozitiv de nouă ori mai funcțional.

Care este impactul unui centru de date cu inteligență artificială asupra rețelei, apei și vecinilor?

Conectarea la rețea este adesea adevăratul proces de selecție a amplasamentului. Terenul este ușor de gestionat în comparație cu o substație și o companie de utilități care are alți clienți. Apa pentru răcire, dacă o folosești, devine o problemă pentru vecini imediat ce precipitațiile sunt aspre, alături de zgomot, volum vizual și căldură la un gard de delimitare. Instruirea se poate ascunde pe piețele de energie mai ieftine și în climatele mai reci. Inferenței îi place să fie aproape de utilizatori. Nu există un singur amplasament perfect. Există un compromis cu un comunicat de presă.

Trebuie să dețin un centru de date cu inteligență artificială sau ar trebui să închiriez?

Majoritatea oamenilor nu trebuie să dețină una dintre aceste săli. Hiperscalerele construiesc pentru că produsul este flota. Laboratoarele construiesc atunci când timpul de așteptare este blocajul sau datele nu pot pleca. O bancă, un spital, un guvern sau un producător cu un set de date secret poate raționaliza colocația locală sau privată. Toți ceilalți ar trebui să închirieze: colocație pregătită pentru inteligență artificială, o rezervare în cloud sau un cluster gestionat. Obțineți acceleratoarele fără a deveni operator de centrală electrică.

Referințe

1. IEA - www.iea.org

2. LBNL - datacenters.lbl.gov

3. Grila Verde - www.thegreengrid.org

4. LBNL - datacenters.lbl.gov

5. LBNL - datacenters.lbl.gov

6. Institutul Uptime - journal.uptimeinstitute.com

7. NVIDIA - developer.nvidia.com

8. NVIDIA - docs.nvidia.com

9. NVIDIA - docs.nvidia.com

10. NVIDIA - docs.nvidia.com

11. Google Cloud - docs.cloud.google.com

Găsește cea mai recentă tehnologie AI în Magazinul oficial de asistenți AI

Despre noi