O le ā le Nofoaga Autu mo Faʻamaumauga a le AI? [Vitio ma le Suʻega]

Tali puupuu: O se nofoaga autu o faʻamaumauga a le AI o se tele e faʻaogaina ai le eletise, faʻamālūlūina, ie, ma le teuina o mea i totonu o aʻoaʻoga ma tautua, ae le o se potu 'auʻaunaga ma GPU faʻaopoopo. E maua e chips le lauiloa; o le fale e filifili pe aoga. Afai e le mafai ona alu ese ata, toe faʻaleleia se sela laʻititi; e tatau i le tele o 'au ona totogi.

Manatu autū:

Chips vs. fausiaina: O le malosi, fa'amālūlūina, ie, ma le teuina e filifili ai pe aoga le fa'atelevaveina o masini.

Nofoaga ae lē o maota: Toe fa'aleleia fata e lua pe a lē mafai ona tu'ua fa'amaumauga; 'aua le fa'atauina se lotoa a'oga.

Averesi vs median: I le valu tamo'ega, e toe amata le median hid; fa'aaoga le averesi o le 18-itula.

Tete'e i le fa'aaogā sese: Aua le tauina se PUE mo fata e lua i totonu o se fale fefiloi.

Fa'ata'ita'iga o taunu'uga: O ta'amilosaga e valu o se fa'afanua la'ititi, ae le o se 50% o le sefeina o le gaosiga.

O tala e te ono fia faitauina pe a uma lenei:

🔗 E fa'atuatuaina le AI? Vitio ma le suega
Su'esu'e le fa'atuatuaina o le AI e ala i se vitio manaia ma se suega fegalegaleai.

🔗 Auala e faʻaaoga ai le AI i le olaga i aso faisoo
Saili ni auala aoga e mafai ai e le AI ona faafaigofieina galuega ma faasologa i aso taitasi.

🔗 Auala e faʻaaoga ai le AI i le galuega
Aoao auala aoga e faʻaaoga ai le AI mo se gaosiga atamai i le galuega.

🔗 E mafai e le AI ona mafaufau mo ia lava?
Ia malamalama pe mafai e le atamai fa'apitoa ona mafaufau tuto'atasi pe mafaufau.

E ese mai i se nofoaga autu o faʻamaumauga "masani"

E fa'aleleia e fale masani mo galuega fefiloi ma le taimi e fa'agaoioia ai le tele o auaunaga laiti. E te popole i le toe fa'aaogaina, ioe, ma e te popole i le PUE o se manatu - o le malosi fa'aopoopo e fa'aaogaina e le fale e tu'uina atu ai le tele o le komepiuta. E te le masani ona mamanuina auala ta'itasi e si'omia ai se fata e amio e pei o se fa'ato'aga fa'avevela feavea'i.

E sui e nofoaga o le AI le fua faatatau. E faʻateleina le mafiafia. E avea le fesoʻotaʻiga ma se ie e le mafai ona vaivai le galuega faʻaaʻoaʻoga e aunoa ma lea. E tatau i le teuina o mea e siaki ai ona faʻagaoioi pea nofoaga siaki pe tuʻu pea masini faʻavavevave e le gaoioi, e pei o solofanua tamoʻe i se feoaʻiga o taʻavale.

E iai fo'i se eseesega fa'aleaganuu. E mafaufau tagata faigaluega fa'apisinisi i pepa ulufale ma fa'amalama fesuia'i. E mafaufau tagata faigaluega fa'apitoa i le fa'asologa o galuega ma le lagona le ma'i pe a maliu se node i se taimi umi. Ou te manatu e mafai lava ona e vala'au uma "nofoaga autu o fa'amaumauga" aua e moni lava. O le fa'ailoga e na'o le nanaina o paipa.

E lē o se fa'atulagaga tau amio. Masini eseese, igoa o le aiga e tasi.

GPU, accelerators, ma le fata e 'aina le eletise

A e savali i luga o se fola maualuga masani, e foliga mai e matuā faaaloalo lava fata o le fale. A e savali i se laina o mea fa'apitoa (AI) e foliga mai e pei e fia folo atoa le fale.

O le masini komepiuta e sili ona mata'ina e lē o se CPU atamai. O le fata fa'atelevaveina lea: GPU po'o isi AI chips, ua fa'aputuina i totonu o 'au'aunaga, ona sosoo ai lea ma fata, ona sosoo ai lea ma laina e fa'asoa se ie maualuga-bandwidth. E fa'afeso'ota'i e le GPU ni chips i se mea e mafai ona fa'afoliga o se tasi fa'atelevaveina tele; e faia fo'i e le ie cluster le togafiti lava e tasi i le fua o laina. E na'o le aoga o a'oa'oga fa'atasi pe afai e tumau pea le mafiafia ma le mafai ona vavaloina o na so'otaga. Afai e leiloa lena mea, o lau "cluster" o se fa'aputuga o nofoaga faigaluega taugata e fa'asoa se postcode.

E mulimuli le eletise i mea fa'apipi'i (chips). E le o se PDU tele o le ofisa. Megawatts o le uta IT pe a tumu se fale - ou te le faia se fuainumera. O le mafiafia o le fata i le fata e fa'aalia ai le tala. E itiiti ifo fata. O fata ta'itasi o se ogaumu la'ititi. O le mea e fa'atapula'aina ai e masani lava o le substation, ae le o le lisi o mea e mana'o ai GPU. Ua e iloa le tulaga: e mana'o le fa'atauga i nisi fa'atelevave; e mana'o le kamupani eletise i se talanoaga umi ma se siaki tele.

O se tala fa'atusa e fai si valea e le mafai ona ou teena: o le fata o se manu fia 'ai. E mafai ona e fanauina se manu e vave atu. E tatau lava ona e fafagaina, ma e tatau lava ona e aveese le vevela. Afai e te le faia so'o se tasi o nei mea, e avea ma se mamafa pepa taugata tele.

Malosiaga, vevela, ma le faʻafitauli o le malulu

Ua ulufale le eletise. Ua aveese le vevela. O le lotu atoa lena.

E fa'asa'oloto e fata mafiafia le vevela i se auala e le'i mana'omia ai ona taulimaina e le ea. E mafai ona e tuleia malosi le ea - o mea e fesuia'i ai le vevela i le faitoto'a i tua, o auala vevela, o le taofia atamai - ma e aoga lena mea se'ia o'o i se tulaga. Ona aliali mai lea o le vai:

• Fa'amālūlūina sa'o i le masini fa'asolo

• O le coolant loops e fa'afoliga ai le potu la'au e pei o se vaila'au e galue

• O le faatofuina i ni nai mamanu, lea e faateʻia ai pea tagata e manatu e le tatau i le vai ma le au tautua ona faʻasoa se fuaiupu

E leai se mea e matagofie i nei mea uma. O le oloa lava ia, auā o se mea fa'aa'e'e e fa'agesegese ai le saoasaoa o se mea ua uma ona e totogia ma e le mafai ona fa'aaogaina atoatoa.

E tāua pea le PUE. O se fua faatatau, ae le o se uiga. E tuliloaina e le au fa'agaoioia auā o watt uma e fa'aalu i ili ma pamu o se watt e le'i alu i se GPU. Ou te le sii maia se fuainumera "masani"; o le tau ma le auala e te tusia ai le tuaoi e fa'agaoioia ai, ma o le sa'o pepelo e sili atu le leaga nai lo le leai. O lo'o iai fo'i le vai i le tala. O nisi la'au e miti. O nisi e folo. O le fa'amālūlūina o le evaporative e aoga se'ia o'o ina fa'apolokiki le vaitafe po'o se lāmala.

Feso'ota'iga: aisea e taua tele ai le ie e pei o chips

E pu'eina e tagata ata o GPU. E tatau ona latou pu'eina ata o ki.

O aʻoaʻoga o se talanoaga. E faitau afe faʻatelevave o loʻo fesuiaʻi ni gradients, parameters, ma ni fasi vaega o se faʻataʻitaʻiga, i se fesoʻotaʻiga vavalalata. Afai e gatete le ie, o le galuega atoa e faʻatali i le osooso sili ona lemu. O le mafuaʻaga lea e popole ai le AI i fesoʻotaʻiga maualuga-bandwidth, maualalo le latency, ma topologies e le gaugau i le afa pe a le manuia se fesoʻotaʻiga. Ie InfiniBand-ish, Ethernet i le matafaioi lava e tasi, GPU fesoʻotaʻi i totonu o le pusa, uaea e tatau ona saʻo i le taimi muamua.

O le fa'ai'uga o se talanoaga ese. E popole le tautua fa'ata'ita'i i le tuai o le si'usi'u - o le tali e gesegese, ae le o le tali masani. O le vaega e fa'atusatusa i le taimi moni e vaeluaina ai uiga. E mana'o se vaega o a'oa'oga i le tele o gaioiga, fa'atasi, ma le gaioiga e tutusa uma. E mana'o se vaega tautua i le tele o talosaga laiti ma le vavae'ese, e aunoa ma se feoa'iga i le paleni o uta.

O le misi, a o oʻu i ai iinei: e taulima e tagata le fesoʻotaʻiga e pei o paipa ma falaoa falaoa e pei o le faleaiga. I totonu o lenei fale, o paipa o le faleaiga lea. A e misia lena mea, e te faʻatau ai se umukuka e le mafai ona talia se tiliva.

A'oa'oga vs fa'ai'uga: fale e lua, o nisi taimi e moni lava

O aʻoaʻoga o se tauvaga. E te faʻapotopotoina se vaega, fafaga i ai faʻamatalaga, siaki ma le faʻamaoni, tamoʻe mo itula poʻo vaiaso, ma tatalo ia tumau le ie. Tele le vaega, manaʻomia le bandwidth, onosaʻi filemu - seʻia oʻo ina faʻaitiitia e se node ua le manuia le tamoʻe. O le tasi le accelerator e mate i se galuega e fesoʻotaʻi vavalalata e mafai ona faʻalavelaveina ai le aufaipese atoa.

O le fa'ai'uga o se fa'aaliga i luma o se faleoloa. Ua uma ona a'oa'oina fa'ata'ita'i, ua taliina nei fesili, fa'avasega ata, ma faia tusitusiga. E tāua le fa'atuai. O se fa'atelevavega tuai teisi i tafatafa o le tagata fa'atau e mafai ona sili atu nai lo se fa'atelevavega matagofie i se konetineta mamao.

O lea la e te maua ai se vaeluaga. O nofoaga a'oa'oga e tuliloaina le malosi, fanua, ma le mafiafia. O nofoaga o fa'ai'uga e tuliloaina le fa'atuai ma le i ai. E iai fo'i fale fa'afefiloi, aua e le gata mai le tupe faavae. Ia - e le o taimi uma e lua fale. O nisi taimi e tasi le fale e iai se maea velvet ma ni matasele fa'amālūlū se lua.

O iinei fo'i e fa'aogaina ai le colocation, hyperscale campuses, ma le on-prem fork. E fausia e le Hyperscalers ni fua e foliga mai ai o lo'o tatou fa'atulagaina meaafale. E fa'atau atu e le Colos le mafiafia e ala i le fata. E tupu pea le on-prem pe a le mafai ona alu ese fa'amaumauga.

Fa'asologa o le teuina o mea, nofoaga e siaki ai, ma sipa 'ai tele'

E leai se tasi e tuʻuina le parallel file system i luga o le faavaa o le polosiua.

E tatau ona vave taunuu mai faʻamaumauga o aʻoaʻoga ina ia aua neʻi paʻi vae GPU. E tatau ona tulaueleele nofoaga siaki ina ia aua neʻi faʻaumatia se vaiaso pe a tupu se faʻalavelave. E tatau ona uta le mamafa o le faʻataʻitaʻiga aʻo leʻi faʻagaoioia se kopi o loʻo tautua. O le saoasaoa o le teuina - e le naʻo le gafatia - o le faʻalavelave filemu lea. E mafai ona e faʻaaluina se tupe tele i faʻatelevavega ma faʻaumatia i latou i se faʻatulagaga faʻalelei ua mamanuina mo masini faʻapitoa.

Ua masani le mamanu: o se fa'aputuga pupula, o se fa'asologa o galuega, ma le fa'atali o le I/O o lo'o tilotilo mai e pei o se pili leaga. O le fa'aputuina o le compute e aunoa ma le fa'aputuina o le ala o fa'amaumauga o le auala lea e te maua ai se idle taugata tele. Ia fafaga pea chips pe ta'utino atu na e fa'atauina se fa'atagata.

Polokalama fa'akomepiuta, fa'atulagaga fa'apitoa, ma le vaega o galuega fa'atino e le matagofie

O masini komepiuta o le tagata ta'uta'ua. O i latou e fa'atulaga taimi e faia le galuega.

E leai se aogā o se nofoaga autū o faʻamaumauga a le AI pe afai e le mafai e galuega ona maua ni GPU, afai e le mafai e 'au e lua ona fa'asoa se vaega e aunoa ma se misa, afai e le mafai ona suia se tulaga ua le manuia, afai e alu ese le firmware se'ia o'o ina le manuia le ie i se gaioiga lemu. Fa'atulagaina, va'ava'aia, fa'atapula'aina o le malosiaga - o le vaega o galuega e le matagofie, o le auala lea e te iloa ai e taua.

E iai so'u lagona vaivai i lenei vaega. E le gata i lea, pe a fa'atusalia e se NIC ua sese le fa'atulagaina se fa'afitauli o le malulu mo se aoauli atoa... e te iloa lena mea i le auala faigata.

A mate se node i le ogatotonu o le tamo'ega

E mate se node. E feto'ai pea fa'amalama o suiga ma fa'agasologa o a'oa'oga e le popole i lau kalena. E te fa'atulagaina fa'atasi galuega tetele, puipui vaega o fa'ai'uga, tusi tusi fa'atino mo mea sese e foliga mai "e telegese le galuega" se'ia foliga mai "ua leai se galuega." E taua pea le toe fa'aaogaina - le eletise, fa'amālūlūina, auala, teuina - ae o le faiga o le sese e le o mama e pei o le fa'ase'e tuai e iva-o-le-taimi. Fa'ai'uga: toe fai, fa'amamago le node ma'i, fa'aauau pea ona tali atu. E mana'omia e a'oa'oga ni siaki, ae le o le fa'amoemoe lelei.

Nofoaga, vai, upega tafaʻilagi, ma tuaoi

E te lē tu'uina se tasi o nei mea i talaane o se fale la'ititi ona o le vaaiga matagofie.

O le feso'ota'iga i luga o le upega eletise e masani lava o le faiga moni lea o le filifilia o le nofoaga. E faigofie le fanua pe a fa'atusatusa i se nofoaga eletise ma se kamupani eletise e iai isi tagata fa'atau. O le vai mo le fa'amālūlūina, afai e te fa'aaogaina, e avea ma fa'afitauli i tuaoi i le taimi lava e malosi ai le timu. Pisa. Tele o mea e va'aia. Vevela i se pa tuaoi. E iloa e komiti fuafuaina ni manatu e uiga i le "ao" i le taimi lava e mana'omia ai se fanua ma se vaitafe.

E ese le fa'alavelave (latency). E fiafia le fa'ai'uga (inference) i le latalata i tagata fa'aoga ma feso'ota'i. E mafai e a'oa'oga ona lafi i maketi eletise taugofie ma tau malulu. E talanoa le alamanuia e peisea'ī e tasi le nofoaga atoatoa. E leai. E iai se fetu'una'iga i se fa'asalalauga fa'asalalau.

O le vevela na totoe ma le ogaumu e leʻi valaʻaulia

E fiafia tele polosiua i lenei vaega. Fa'asolo atu le mafanafana o otaota i totonu o fale, vaita'ele, fale lau'ele'ele; o se fuaiupu matagofie. O nisi taimi e moni ai le ta'amilosaga a le itumalo. O nisi taimi e sese le nofoaga o le lotoa ma e alu pea le vevela i le ea. Ou te masalosalo i le lomiga o le polosiua; Ou te lē masalosalo i le fisiki.

O ai e manaʻomia se tasi (ma o ai e tatau ona totogi se isi)

E lē manaʻomia e le toʻatele o tagata ona umia se tasi o nei fale.

O le lisi sa'o:

• Hyperscalers, auā o le oloa o le vaega lea

• Labs, pe a avea le taimi o le laina ma faʻalavelave, pe le mafai e faʻamaumauga ona tuʻua

• E mafai ona mafaufau lelei se faletupe, vaega o falema'i, malo, po'o se kamupani gaosi oloa e iai se fa'amaumauga faalilolilo - i totonu o le nofoaga po'o se pa puipui tumaoti, tusa lava pe o se mea fa'avalevalea

E tatau i isi uma ona totogi. Colocation ma le tele o AI-ready. O se fa'asao ao. O se cluster pulea. E te maua le accelerators e aunoa ma le avea ma se tagata e fa'agaoioia le eletise. E mou atu le alofa i le taimi muamua e fesili ai se tasi po'o ai o lo'o vala'aulia mo le coolant loop i le 3 i le taeao.

E iai le fa'amaualuga, ou te ta'utino atu. O le umiaina o le vaega eletise e pei lava o le umiaina o le auala e vavalo ai. Ona taunu'u mai lea o le pili o le eletise, ma nofo i lalo le fa'amaualuga.

O le ā le fa'aoga o le fale

O le ā la le Nofoaga Autu mo Faʻamaumauga Faʻa-AI? O se lotoa faʻapitoa ma tele nofoaga e faʻatulagaina ai mea faʻavavevave, eletise, faʻamālūlūina, ie, ma le teuina e faʻatatau i faʻataʻitaʻiga o aʻoaʻoga ma tautua - ae le o le IT faʻapitoa ma se GPU i le tulimanu. E foliga mai o se faleteuoloa. E amio e pei o se nofoaga e faʻaaogaina ai le eletise e fai ai matematika.

Afai e te le manatuaina se isi mea: o chips e maua le taʻutaʻua; o le substation, le coolant, ma le network e filifili pe o na chips o se manatu lelei. E mafai ona faʻasoa e aʻoaʻoga ma faʻaiʻuga se taualuga; latou te manaʻo pea i amioga eseese. E tatau i le tele o faʻalapotopotoga ona totogi fale. E tatau i ni nai faʻalapotopotoga ona fausia. O le a matauina e tuaoi poʻo le a lava le itu.

Sa i ai lava se fale i le ao. O aso nei, e i ai lava manatu o le fale.

Faʻataʻitaʻiga moni: O se sela aʻoaʻo e lua-fata pe a le mafai e ata ona alu ese

Tulaga

O Tomos o le taʻitaʻi o atinaʻe i Kestrel Precision, o se kamupani gaosi oloa e 400 tagata i West Midlands. Ua i ai sa latou fale laʻititi i totonu o le nofoaga: ERP, faʻasoa faila, masini faʻapitoa, le pitonuʻu fefiloi na amata ai lenei tusiga. Ea malulu. Ethernet masani. O se SAN e matua faʻaaloalo lava mo tisiketi o le ofisa.

E manaʻomia e le 'au vaʻai masini ona aʻoaʻoina se faʻataʻitaʻiga o le siakiina o ata o le fale gaosi oloa. E le mafai e ata ona tuʻua le nofoaga. Latou te faʻaalia se faiga e le tuʻuina e le kamupani i luga o se tisiketi ao, e tusa lava pe tumaoti. O le fofo a le Procurement o 'auʻaunaga e fa e lua-faʻavavevave ma se faʻaseʻe e faʻaulutalaina "o la matou nofoaga autu o faʻamaumauga AI". E alu 'auʻaunaga i totonu o fata e lua o loʻo iai, aua e iai le avanoa, ma e foliga mai o le avanoa o se tapulaʻa.

E leai. I totonu o le lua vaiaso e foliga pisi tele ai GPU ona fa'agesegese filemu lea. E totolo galuega pe a pa'i atu se siaki i le SAN. E mate se node i le itula e sefulutasi ma ua na'o le ... leai. E le'i toilalo Tomos e fa'atau ni chips. Ua ia fa'atauina se fa'aputuga o masini faigaluega taugata e fa'asoa se postcode. O le fale sa avea pea ma se fale fa'apisinisi.

Latou te lē manaʻomia se lotoa, se nofoaga fou e faʻaaogaina ai eletise, poʻo se vaitafe. Latou te manaʻomia se tamaʻi sela e amio e pei o se nofoaga faʻamaumauga a le AI i se tamaʻi laʻititi: le malosi e mafai ona uuina e fata, le vevela e alu ese e aunoa ma le kukaina o fasi falaoa, se ie e mafai ona talanoa i ai le galuega aʻoaʻoga, le teuina e mafai ona ave se siaki, ma se tusi taʻiala mo le taimi e mate ai se node. Talu ai e lē mafai e ata ona alu ese, o le lisiina o se pa colo e fasefulu minute le mamao e lē o le tali lea. O le toe faʻaleleia o fata e lua o le tali lea.

O mea e manaʻomia e le sela

• O se paketi fa'atatau o le malosiaga i luga o lena laina, mai PDUs, ae le o le lisi mana'o o le GPU. Afai e le mafai e le gafatia fa'aopoopo ona fafaga 'au'aunaga e fa i le avega o a'oa'oga, e muta ai le talanoaga ma latou va'ai i se lanu mafiafia, ae le o se vavega

• E leʻi talosagaina lava le faʻamālūlūina o le ea e taulimaina i lenei mafiafia: o masini fesuiaʻi vevela i le faitotoʻa i tua pe afai e mafai e le fale ona faʻaaogaina, pe o se tamaʻi liʻo vai pe afai e mafai ona faʻaaogaina. Afai e leai se tasi, e le ulufale atu le auʻaunaga i totonu

• O se ie fa'apitoa e maualuga le bandwidth i le va o nodes e fa, ae le o le Ethernet o le ofisa. Afai e na'o le 10 Gb switch a le fa'atau oloa i le lisi oloa, e le o se cluster lena

• Teuina vave i le lotoifale mo nofoaga e siaki ai ma vaega o a'oa'oga, ae le o le VM SAN

• O se fa'asologa taimi, o se va o siaki, ma se ala toe amata tusitusia. O masini komepiuta o le mea lauiloa. O lenei vaega o le galuega

• O se pusa fa'ai'uga ua si'omia i le pa mo le laina o le fale gaosi oloa, e ese mai le talanoaga o a'oa'oga, aua o le tautua e mana'o i le fa'atuai ma le vavae'ese, ae le o se fa'apotopotoga

• Fa'atagaga e fa'amaumau ai le malosiaga, uati GPU, mea e tutupu fa'asolosolo, ma le uati puipui o galuega. Afai e le mafai ona latou siakiina na mea, o le a latou pueina ata o GPU ma misia ai ki

Fa'atonuga fa'ata'ita'i

Ua faamatala e Tomos lenei mea i le aotelega o nofoaga, i se gagana masani:

Aua le ta'ua lenei mea o se lotoa o le AI. Fausia se sela a'oa'oga e lua-rack i le fale o lo'o iai nei mo 'au'aunaga fa'atelevave e fa. O ata o le fale gaosi oloa o lo'o tumau pea i luga o le nofoaga. O le manuia: o nodes e fa e fa'amae'a se fua fa'atatau o a'oa'oga siaki e 12-vaitaimi e aunoa ma le fa'agesegese vevela, tusi se siaki i ni nai minute ae le o ni sefulu minute, ma toe amata mai lena siaki pe a tatou fasiotia se tulaga i le fa'amoemoe. O le fa'amālūlūina e tatau ona fa'atumauina GPU i a latou uati a'oa'oga. O feso'ota'iga e tatau ona avea ma se ie e fa'asoa e na pusa e fa, ae le o se auala i totonu o le fa'aputuga o ofisa. O le teuina e tatau ona fafaga ai chips. Afai e le fetaui mea fa'afesuia'i vevela i le faitoto'a i tua, fai mai ma taofi. Aua le ta'ua se PUE mo ni racks se lua i se fale fefiloi. O lena numera o le a avea ma fale tifaga.

Ona ia tuuina lea o lenei mea i le galuega faaleaoaoga lava ia:

Siaki i minute ta'i 30 i le vaega fa'avavevave i le lotoifale. Afai e mate se tulaga, toe amata mai le siaki mulimuli ua mae'a. Aua le fa'atali i le SAN. Aua le fa'aauau pea ona faia a'oa'oga a'o pa'u'ū le uati ona o le vevela. Fa'amaumau ma taofi ina ia mafai ona tatou va'ai i le tulaga ua pa'u.

O se itula lelei e foliga faapenei: o GPU uma e valu i uati o toleniga, ua tulaueleele le faila o le checkpoint, o loo galulue pea i le tulaga sa'o. O se itula leaga e foliga faapenei: o tagata fiafia ua alalaga atoa, ua uma le uati, ua tusia le 2% o le checkpoint ina ua mavae le sefulu minute, ma o loo fai mai se tasi i le ofisa "ua si'itia le cluster". O le si'itia e le o se toleniga.

Auala e fa'ata'ita'i ai

Latou te tusia le suega aʻo leʻi toe faʻaleleia, o le uiga atoa lea o le le faʻatuatuaina o se faʻataʻitaʻiga.

• O le fua tutusa lava e 12-vaitaimi, o ata siaki e 120,000 tutusa, e valu taimi e alu ai

• O le taimi e fa'atatau i le uati e o'o atu i se fua ua mae'a, e aofia ai so'o se toe amata, e fua mai le tu'uina atu o le galuega i le siaki mulimuli o le vaitaimi 12

• O se fa'aitiitiga o le vevela: E tumau pea uati GPU i le sini fa'amalositino mo le tamo'e. O se fa'alavelave fa'asolosolo e le manuia tusa lava pe iu ina mae'a le galuega

• O se fa'ataga i le teuina: taimi e siaki ai le taimi e tusi ai, ogatotonu ma le sili ona leaga, mai le fa'amaumauga o galuega

• O se ie e le fa'aaogaina: e le nofo fa'atasi le galuega i le taimi e malolo ai se tagata faigaluega. Afai latou te le va'aia lena fa'atali, o lona uiga ua le mae'a le fa'atinoina o mea faigaluega

• E lua mai le valu tamo'e e fasiotia ai se tulaga i se la'asaga mautu, i le fa'amoemoe, e fa'ata'ita'i ai le auala toe amata

• O le fa'ai'uga o se suega ese'ese e 200-ata mai le laina o le fale gaosi oloa i le pusa tautua ua fa'apa'iaina. O le manuia o a'oa'oga e le faitaulia o le manuia o le tautua

• Latou te faʻamaumauina le malosiaga o le rack mai PDUs i faʻataʻitaʻiga e 15-minute ina ia leai se tasi e faia se megawatt

Taliaina o le vala'auina o le sela "AI-ready": 8 mai le 8 fua ua mae'a; 0 mai le 8 o lo'o fa'aalia ai le fa'aitiitia o le vevela; toe amata uma ta'avale ua fasiotia; e tumau pea nofoaga e siaki ai i ni nai minute. Afai latou te misia lena mea, o lo'o i ai pea sa latou potu 'au'aunaga ma kata ata matagofie.

I'uga

O se faʻataʻitaʻiga, mai se suega e valu taʻamilosaga na faia, ae le o se fuainumera Kestrel ua lomia.

Manatu: fa 'au'aunaga fa'atelevave e lua i totonu o fata e lua; tasi le fa'ata'ita'iga o le siakiina; 120,000 ata; valu tamo'ega o se fua fa'atatau tumau e 12-taimi; e aofia ai i le uati puipui le toe amataina se'ia mae'a le fua; o le throttle o lona uiga o se pa'ū fa'amaumau mai le uati a'oa'oga; o le taimi e siaki ai o le tusitusiga lea, ae le o le mana'o; o le malosiaga o le fata o fa'ata'ita'iga PDU, ae le o se PUE a le lotoa.

A'o le'i toe fa'aleleia, o GPU i totonu o fata masani e fa'amālūlūina i le ea i luga o le Ethernet o le ofisa ma le VM SAN:

• 5 mai le 8 tamo'e na fa'amae'aina i le taumafaiga muamua. O le averesi o le uati puipui i totonu o na tamo'e e lima: 14 itula

• E 3 mai le 8 sa tatau ona toe amata ina ua maeʻa se faʻalavelave i le pe tusa o le itula 11 (lua ina ua maeʻa se node ma se siaki tuai, tasi ina ua maeʻa ona faʻatumuina le SAN e se siaki). Toe taumafai vave, leai se faʻatali i le po atoa i le uati: 11 itula ua faʻaumatia faʻaopoopo i ai se taumafaiga lona lua e 14 itula, pe 25 itula i se fua ua maeʻa i na mea e tolu

• O le averesi o le taimi e oʻo ai i le maeʻa o se fua i vaega uma e valu, e aofia ai toe amata: 18 itula. (Lima i le 14, tolu i le 25. O le averesi o vaega uma e valu o loʻo 14 pea, lea o le a natia ai toe amata. O le mafuaʻaga lea o le averesi o le laina faʻavae iinei.)

• Na fa'amauina le vevela o le ta'avale i le 7 mai le 8 tamo'ega. O le taimi ogatotonu i le uati fa'aitiitia: 3 itula i le taumafaiga e 14-itula

• Tusitusi i le nofoaga siaki: ogatotonu 22 minute

• E leʻi mafai ona latou pasia le Rank-kill. E leai sa latou tusi tamoʻe. O maliu faʻafuaseʻi e lua o le mea na maua

• O le mamafa tele o le IT i luga o fata e lua i le taimi o aʻoaʻoga: pe tusa ma le 18 kW. O le laina e iai watts. E leai se mea e faʻamālūlū ai pe iai foʻi le ie

A maeʻa ona faʻapipiʻi ni fesuiaʻiga vevela i tua o le faitotoʻa i luga o na fata e lua, o se ie faʻapitoa i le va o nodes e fa, o se tamaʻi vaitaʻele NVMe mo nofoaga e siaki ai, 30-minute le siakiina o le siaki, ma se tusi taʻavale toe amata:

• 8 mai le 8 na maeʻa i le taumafaiga muamua. Uati puipui ogatotonu: 9 itula

• Fa'amama vevela: 0 o le 8

• Tusitusi i le nofoaga siaki: ogatotonu 90 sekone. Sili ona leaga i le seti: 3 minute

• O fasiotiga fa'apitoa e lua na toe amata mai le siaki mulimuli o le 30 minute. Uati fa'aopoopo i luga o na ta'amilosaga e lua: pe tusa ma le 40 minute ta'itasi, e aofia ai ma le fa'amaoniga, o lea na nonofo ai na ta'amilosaga e lua e lata i le 9 itula 40 minute. O le averesi i le va o ta'amilosaga e valu e le'i suia i le 9 itula

• O le avega sili ona maualuga o le IT e tusa ma le 18 kW. O chips tutusa. Eseese amioga a le fale

I lenei faʻataʻitaʻiga, o le averesi o le taimi-e-oʻo-i-se-fua-maeʻa-na paʻuʻū mai le 18 itula i le 9 itula, poʻo le 9 itula i le taʻitasi, 72 itula i le valu taimi e faʻataʻamilo ai. O le taimi-na-faʻataʻamilo ai-muamua na alu ese mai le 5 o le 8 i le 8 o le 8. O le Throttle na alu ese mai le 7 o le 8 i le 0 o le 8. O le numera mulimuli lea e taʻu mai ai pe na latou faʻatauina ni faʻavavevave poʻo ni mamafa pepa. Latou te le taʻua le suiga o le taimi o se 50% sefeina i le gaosiga. O le valu taimi e faʻataʻamilo ai o se seti laʻititi ma faigofie.

O nei fuainumera o se faʻataʻitaʻiga o le faʻatatauga e faʻavae i luga o le suega ua taʻua, o se faʻataʻitaʻiga laʻititi, o le tasi le faʻataʻitaʻiga, ma le tasi le fale fefiloi. E le o se PUE, e le o se megawatt o le lotoa, ma e le o se faʻamaoniga e tatau ia Kestrel ona fausia se nofoaga e aʻoaʻo ai i se fanua. O le iloiloga o ogalaau sa i totonu o le 9 itula; latou te leʻi natia. O le fuainumera 18 kW o se faitauga PDU faʻataʻamilomilo, e le o se pili o auaunaga. Latou te leʻi liua le 72 itula i se tau, aua o le tau eletise fefiloi a le falegaosimea semanu e fai ai se mataupu faapisinisi pepelo.

O le siaki tautua sa eseese ma laiti: 200 ata laina i le pusa ua si'omia i le pa, o lo'o i luga uma o le nofoaga. O le fa'ai'uga lena, ae le o se a'oa'oga. O le fa'afefiloi o mea e lua o le a avea ma mea sese fa'apitoa i le hybrid-hall.

O a mea e ono sese

• O loʻo faʻaauau pea ona taʻua e le au faʻatau ni 'auʻaunaga e fa o le "nofoaga autu o faʻamaumauga a le AI". O loʻo natia e le faʻailoga paipa, ma o le isi faʻatauga o nisi GPU mo le auala lava e tasi e faʻaaogaina ai le AI

• E ulufale atu masini fesuia'i faitoto'a i tua ae leai se tasi e fa'atonu le itu i le vai. O lo'o alalaga pea tagata ili. O lo'o pa'ū pea uati

• O le ie o se ki e tasi e leai se ala fa'asao. Tasi le so'oga ua le manuia ma ua toe fa fo'i le "cluster" i nofoaga faigaluega e fa

• E tumau pea nofoaga siaki i le SAN auā o le NVMe pool sa "vaega lua". E le taunuu le vaega lua a'o le'i o'o i le isi node ua mate

• Latou te fa'atauina se PUE mo fata e lua i totonu o se fale fefiloi. O le tau, tuaoi, ma le vaega o totoe o le laina ERP e avea ai lena fua faatatau ma se ofu

• E tutusa le a'oa'oga ma le tautua ma le ie. O le lologa o le nofoaga e siaki ai e fa'atali ai le laina o le fale gaosi oloa. O le tuai o le si'usi'u o le oloa lea iina, ae le o le mafiafia

• Ua mate se node ma ua manatu i ai se tasi e pei o se tiketi taimi e galue ai nai lo se toe amata o se siaki. O tagata faigaluega a le kamupani ma tagata faigaluega a le AI e talatalanoa mo se aoauli atoa

• Semanu e mafai ona latou totogi se pa, vagana ai e le mafai e ata ona o ese. O le galo o lena tapulaʻa e auina atu ai i latou i se talanoaga i le ao e tatau ona latou malolo ai

Mea'ai aogā e 'ai fua

O le ā le Nofoaga Autu mo Faʻamaumauga a le AI, i lenei foliga, e lē o se faleteuoloa ma e lē o se pili a le GPU. O le sela lea e faʻataga ai e le au faʻatelevaveina le faʻagaioiga: le malosi e mafai ona latou taofia, le vevela e alu ese, se ie, se siaki, ma se tasi e taofia pe a oti se tulaga. E leʻi manaʻomia e Kestrel se lotoa. Sa latou manaʻomia ni fata se lua e taofi ai le faʻatagā. E tatau i le tele o 'au ona faʻaaogaina lenā amioga. E toʻaitiiti, faʻatasi ai ma se faʻamaumauga faalilolilo ma se fale e mafai ona tatalia le vevela, e tatau ona fausia se sela ma teena le faaseʻe.

Fesili e Masani Ona Fesiligia

O le ā le Nofoaga Autu mo Fa'amaumauga a le AI?

O se nofoaga komepiuta e tele ai le eletise, fa'amālūlūina, feso'ota'iga, ma le teuina o mea e fa'aogaina i le a'oa'oga fa'atasi ma le tautua fa'ata'ita'i, ae le o ni laina mama o 'au'aunaga fa'apitoa. Ua mamanuina ina ia mafai e le tele o fa'atelevavega ona a'oa'oina ma tautua fa'ata'ita'i e aunoa ma le fa'avaivaia, fa'atuai i luga o le feso'ota'iga, pe fa'atali i luga o le tisiki. O se fale fa'apisinisi masani o se pitonu'u fefiloi. O se fale AI o se fa'ato'aga e tasi lona iunite taua o le fa'atelevavega, e pei o GPU po'o chips fa'a-TPU. E foliga mai o se faleteuoloa ma e amio e pei o se nofoaga e fa'atino ai le matematika.

E faapefea ona ese se nofoaga autu o faamaumauga a le AI mai se nofoaga autu o faamaumauga masani?

E fa'alelei e fale masani mo galuega fefiloi ma le taimi e fa'agaoioia ai i le tele o auaunaga laiti. E suia e nofoaga o le AI le fua faatatau: e fa'ateleina le mafiafia, e avea le feso'ota'iga ma se ie e le mafai ona vaivai le galuega a'oa'oga e aunoa ma ia, ma e tatau i le teuina ona fa'agaoioi pea nofoaga siaki pe tu'u pea fa'avavevave. E mafaufau tagata faigaluega fa'apisinisi i tiketi ma sui fa'amalama. E mafaufau tagata faigaluega AI i laina o galuega ma le lagona le ma'i pe a maliu se node i se taimi umi. E mafai lava ona e vala'au i nofoaga autu uma e lua o fa'amaumauga. E na'o le nanaina o paipa e le fa'ailoga.

Aiseā e faʻaaogā ai e nofoaga autu o faʻamaumauga a le AI le tele o le eletise?

O le masini komepiuta e sili ona mata'ina e lē o se CPU atamai. O le fata fa'a'a'esa'e: GPU po'o isi AI chips, ua fa'aputuina i totonu o 'au'aunaga, ona sosoo ai lea ma fata, ona sosoo ai lea ma laina e fa'asoa se ie maualuga-bandwidth. O le mafiafia o fata ta'itasi o le fa'aliliuga lea o le tala: e itiiti ifo fata, e ta'itasi ma se ogaumu la'ititi. E aliali mai Megawatts o uta IT pe a fa'atumuina se fale, e ui lava e le aoga le fatuina o se fuainumera masani. O le mea e fa'atapula'aina e masani lava o le substation, ae le o le lisi o mea e mana'o ai GPU.

E fa'apefea ona fa'amālūlūina nofoaga autu o fa'amaumauga a le AI?

O fata e tele le mafiafia e fa'asa'olotoina ai le vevela i se auala e le'i mana'omia ai ona taulimaina le ea. E mafai ona e tuleia malosi le ea i mea e fesuia'i ai le vevela i le faitoto'a i tua, auala vevela, ma le fa'atonutonuina atamai. Ona aliali mai lea o le vai: fa'amālūlū sa'o i le chip, fa'asologa o le coolant, ma le fa'atofuina i ni nai mamanu. O se accelerator e fa'agesegese ai le vevela o se tasi ua uma ona e totogia ma e le mafai ona fa'aaogaina atoatoa. E taua pea le PUE aua o watts uma e fa'aalu i ili ma pamu o se watt e le'i alu i se GPU. E iai fo'i le vai i le tala: o nisi la'au e miti, o nisi e folo.

Aiseā e tāua tele ai feso'ota'iga e pei o GPU?

O aʻoaʻoga o se talanoaga: afe ma afe o faʻatelevavega o loʻo fesuiaʻi ni gradients, parameters, ma ni fasipepa o se faʻataʻitaʻiga i se fesoʻotaʻiga vavalalata. Afai e gatete le ie, o le a faʻatali le galuega atoa i le osooso sili ona lemu. O le mafuaʻaga lea e popole ai le AI halls i fesoʻotaʻiga maualuga-bandwidth, latency maualalo, ie InfiniBand-ish poʻo le Ethernet i le matafaioi lava e tasi, ma topologies e le gaugau i le afa pe a le manuia se fesoʻotaʻiga. E popole le Inference i le tail latency, le tele o talosaga laiti, ma le vavaeʻese. I totonu o lenei fale, o le paipa o le faleaiga.

O le ā le mea e faʻaaogaina ai se Nofoaga Autu mo Faʻamaumauga a le AI: aʻoaʻoga poʻo le faʻaiʻuga?

O aʻoaʻoga o se tauvaga: faʻapotopoto se vaega, fafaga faʻamaumauga, siaki ma le faʻamaoni, ma faʻatino mo itula poʻo vaiaso. O le faʻaiʻuga o se faleoloa: o faʻataʻitaʻiga ua uma ona aʻoaʻoina, ua tali nei, ma le faʻatuai e taua. O nofoaga aʻoaʻoga e tuliloaina le malosi, fanua, ma le mafiafia. O nofoaga faʻaiʻuga e tuliloaina le faʻatuai ma le i ai. O loʻo i ai fale faʻafefiloi ona e le gata mai le tupe faavae, o nisi taimi e tasi le fale e lua ni faʻamālūlū. O se faʻatelevavega tuai teisi lata ane i le tagata faʻatau e mafai ona sili atu nai lo se fale matagofie i se konetineta mamao.

Aiseā e tāua ai le teuina o faʻamaumauga i totonu o se nofoaga tutotonu o faʻamaumauga a le AI?

E tatau ona vave taunuu mai faʻamaumauga o aʻoaʻoga ina ia aua neʻi paʻi vae GPU. E tatau ona tulaueleele nofoaga siaki ina ia aua neʻi faʻaumatia se vaiaso pe a tupu se faʻalavelave. E tatau ona uta le mamafa o le faʻataʻitaʻiga aʻo leʻi faʻagaoioia se kopi o loʻo tautua. O le saoasaoa o le teuina, e le naʻo le gafatia, o le faʻalavelave filemu lea. E mafai ona e faʻaaluina se tupe tele i faʻatelevavega ma faʻaumatia i latou i se faʻatulagaga faʻalelei ua mamanuina mo masini faʻapitoa.

O le ā e tupu pe a mate se node i le ogatotonu o le fa'agaoioiga?

E mafai e le tasi le fa'aosofiaga e le toe aoga i se galuega fa'aa'oa'oga e feso'ota'i lelei ona fa'alavelaveina ai le fa'alogologo atoa. E mana'omia e le a'oa'oga ni nofoaga e siaki ai, ae le o le fa'amoemoe lelei. E fa'aalu e le fa'ai'uga le taimi e fa'a'a'e ai le mafaufau, fa'aauau pea ona tali mai se kopi, ma tumau pea ona ola. E feto'ai pea fa'amalama o suiga ma fa'agasologa o a'oa'oga e le popole i lau kalena. E taua pea le toe fa'aopoopoina mo le eletise, fa'amālūlūina, auala, ma le teuina, ae o le faiga o le fa'aletonu e le o mama lelei e pei o le fa'ase'e tuai e iva taimi e fa'agaoioi ai.

O le ā le aafiaga o se Nofoaga Autu mo Faʻamaumauga a le AI i le upega o fesoʻotaʻiga, vai, ma tuaoi?

O le feso'ota'iga i luga o le upega eletise e masani lava o le faiga moni lea o le filifilia o nofoaga. E faigofie le fanua pe a fa'atusatusa i se nofoaga eletise ma se kamupani eletise e iai isi tagata fa'atau. O le vai mo le fa'amālūlūina, afai e te fa'aaogaina, e avea ma fa'afitauli i tuaoi i le taimi lava e timuga malosi ai, fa'atasi ai ma le pisa, le tele o mea e va'aia, ma le vevela i se pa tuaoi. E mafai ona lafi a'oa'oga i maketi eletise taugofie ma tau malulu. E fiafia le fa'ai'uga i le latalata i tagata fa'aoga. E leai se nofoaga e tasi e atoatoa. E iai se fetu'una'iga i se fa'asalalauga tusitusia.

E tatau ona ou umiaina se nofoaga autu o faʻamaumauga a le AI, pe tatau ona ou lisiina?

E lē manaʻomia e le toʻatele o tagata ona umia se tasi o nei fale. E fausia e Hyperscalers auā o le oloa o le vaega lea o le 'au. E fausia e Labs pe a oʻo le taimi e faʻatapulaʻaina ai le laina pe lē mafai ona alu ese faʻamatalaga. E mafai e se faletupe, falemaʻi, malo, poʻo se gaosi oloa e iai se faʻamaumauga faalilolilo ona faia se nofoaga i totonu poʻo se fale tumaoti e talafeagai. E tatau i isi uma ona totogi: colocation ua saunia e le AI, se faʻamaumauga ao, poʻo se vaega pulea. E te maua le accelerators e aunoa ma le avea ma se tagata e faʻagaoioia le eletise.

Fa'asinomaga

1. IEA - www.iea.org

2. LBNL - datacenters.lbl.gov

3. O le Green Grid - www.thegreengrid.org

4. LBNL - datacenters.lbl.gov

5. LBNL - datacenters.lbl.gov

6. Uptime Institute - journal.uptimeinstitute.com

7. NVIDIA - developer.nvidia.com

8. NVIDIA - docs.nvidia.com

9. NVIDIA - docs.nvidia.com

10. NVIDIA - docs.nvidia.com

11. Google Cloud - docs.cloud.google.com

Saili le AI Fou i le Faleoloa Aloaia o Fesoasoani AI

Faatatau ia tatou