Teuina o Mea mo AI: Filifiliga, Filifiliga, Filifiliga

Pe a fa'alogo le to'atele o tagata i le “ata fa'apitoa,” latou te fa'aataina neural nets, fa'ailoga algorithms, po'o na robots humanoid. O le mea e seasea ta'ua i luma o le mea lenei: AI e 'ai mea teu oloa e toetoe lava a le fiafia e pei ona fuafuaina . Ma e le naʻo soʻo se mea e teu ai mea e teu ai e nofo filemu i tua, faia le galuega le fiafia ae matua taua o le fafagaina o faʻataʻitaʻiga o faʻamaumauga latou te manaʻomia.

Sei o tatou talepe i lalo mea e taua tele ai le teuina o mea mo AI, pe faapefea ona ese mai le "leoleo tuai" o faiga teu oloa, ma pe aisea ua iu ai i le avea ma se tasi o mea autu mo le faʻaleleia ma le faʻatinoga.

Tala atonu e te mana'o e faitau pe a mae'a lenei:

🔗 O fea tekinolosi e tatau ona i ai e faʻaaoga ai le tele-tele generative AI mo pisinisi
Tekinolosi autu e manaʻomia e pisinisi mo le faʻaleleia lelei o AI.

🔗 Puleaina o faʻamatalaga mo meafaigaluega AI e tatau ona e vaʻai i ai
Fa'ata'ita'iga sili mo le tagofiaina o fa'amaumauga e fa'amalieina ai le fa'atinoga o AI.

🔗 Fa'amatalaga fa'apitoa fa'apitoa mo fuafuaga tau pisinisi
E faʻafefea ona aʻafia e AI fuafuaga faʻapisinisi ma faiga faʻaiʻuga umi.

O le a le mea e fa'ailoga ai le teuina o mea mo AI? 🌟

O le manatu tele: o mea e teu ai mea e le fa'alavelave i faila po'o poloka poloka mautu. E vaevaeina faʻamaumauga i "meafaitino," taʻitasi e faʻailogaina i metadata. O lena metadata e mafai ona avea ma mea faʻapipiʻi (tele, faʻailoga taimi, vasega teuina) ma faʻamatalaga faʻaoga-tagata: faʻailoga tau [1]. Mafaufau i ai e pei o faila uma o loʻo i ai se faaputuga o faʻamatalaga pipii e taʻu atu ia te oe le mea tonu, pe na faʻapefea ona faia, ma le mea e fetaui i lau paipa.

Mo 'au a AI, o lena fetuutuunai o se suiga o taaloga:

• Fua e aunoa ma migraines - O vaituloto o faʻamatalaga e faʻalautele i petabytes, ma faʻatau mea faʻatau ma faigofie. Ua mamanuina mo le tuputupu aʻe lata-le gata ma le tele-AZ tumau (Amazon S3 faʻamaualuga e uiga i le "11 iva" ma le faʻasologa o le sone e ala i le faaletonu) [2].

• Metadata oa - Su'esu'ega vave, faamama mama, ma paipa sili atu ona lelei talu mai le fa'asalalauga fa'atasi ma mea ta'itasi [1].

• Cloud-native - E sau faʻamatalaga i luga ole HTTP(S), o lona uiga e mafai ona e faʻatusaina toso ma faʻaauau le tufatufaina atu o aʻoaʻoga hamu.

• Toe fa'aleleia - A'o e toleniina mo ni aso, e le mafai ona e tu'uina atu se fa'ama'i leaga o le taimi e fasiotia ai 12. O le teuina o mea e aloese mai ai e ala i le mamanu [2].

E masani lava o se ato faafafa e leai se gataaga: masalo e leaga totonu, ae o mea uma lava e mafai ona toe maua pe a e aapa i ai.

Fuafuaga Fa'atusatusa vave mo AI Mea e teu ai 🗂️

Fa'aletino i taimi uma-sia'i tau fa'asaga i lau fa'aoga moni i le lalolagi-aemaise le alu i fafo, le tele o talosaga, ma le fa'afefiloi-vasega teuina.

Aisea e fiafia ai le AI Training i le teuina o mea faitino 🧠

O aʻoaʻoga e leʻo "se luʻu o faila." E faitau miliona ma miliona faamaumauga ua malepelepe tutusa. O faiga fa'atonu faila e fa'apipi'i i lalo o le mamafa fa'atasi. O mea e teu ai mea e pito i tua e iai igoa mafolafola ma API mama. O mea faitino uma lava ei ai se ki tulaga ese; tagata faigaluega fa'afefe ma aumai fa'atasi. Fa'asoa fa'amaumauga + tutusa I/O = GPU e pisi pea nai lo le fa'atali.

Motugaafa mai alavai: teu vevela vevela i tafatafa o le fuifui faʻapipiʻi (ituaiga tutusa poʻo le sone), ma faʻasaʻo faʻamalosi i SSD. Afai e te manaʻomia ni fafaga latalata-saʻo i totonu o GPU, NVIDIA GPUDirect Storage e aoga le vaʻavaʻai i ai-e faʻapipiʻi ai paʻu paʻu o le PPU, tipi le latency, ma luga o le bandwidth saʻo i le accelerators [4].

Metadata: Le Malosiaga Fa'atauva'a 🪄

O iinei e susulu ai mea e teu ai mea i ni auala e le iloagofie. I le lafoina, e mafai ona e faʻapipiʻi metadata masani (pei o x-amz-meta-... mo S3). Mo se faʻataʻitaʻiga, o se faʻamaumauga vaʻaia, e mafai ona faʻailoga ata i moli = maualalo poʻo le faanenefu = maualuga . E mafai ai e paipa ona fa'amama, paleni, pe fa'asalaina e aunoa ma le toe su'eina o faila mata'utia [1].

Ona iai lea o le fa'aliliuga . O le tele o faleoloa meafaitino o lo'o teuina le tele o fa'asologa o se mea faitino i autafa-atoatoa mo su'esu'ega toe gaosia po'o faiga fa'avae e mana'omia le toe fa'afo'i [5].

Object vs Block vs File Storage ⚔️

• Poloka Teuga : Mata'utia mo fa'amaumauga tau fefa'ataua'iga-vave ma sa'o-ae taugata tele mo fa'amaumauga e le'i fa'atulagaina petabyte.

• Teuina o Faila : Fa'afeiloa'i, POSIX-faauo, ae o fa'atonuga e fetina'iina i lalo o le tele o uta tutusa.

• Teuina o Mea : Fuafuaina mai le pito i luga mo le fua, tutusa, ma le faʻaogaina o metadata [1].

Afai e te manaʻo i se faʻataʻitaʻiga faʻavalevalea: poloka poloka o se kapeneta faila, faila faila o se pusa o le komepiuta, ma o le teuina o mea o le ... o se lua e le gata ma faʻamaufaʻailoga e mafai ai ona faʻaaogaina.

Fuafuaga o galuega AI fa'afefiloi 🔀

E le na'o ao i taimi uma. O se fa'afefiloi masani e pei o:

• Fa'ato'a teu mea (MinIO, Dell ECS) mo fa'amatalaga ma'ale'ale pe fa'atulafonoina.

• Taofi meafaitino ao mo galuega mamafa, faʻataʻitaʻiga, poʻo le galulue faʻatasi.

O lenei paleni e fetaui ma tau, tausisia, ma le gaogao. Ua ou va'ai i 'au o lo'o lafoa'ia terabytes i le po i totonu o le pakete S3 na'o le fa'amumuina o se fuifui GPU le tumau-ona fa'ato'a uma lea pe a afifi le sprint. Mo paketi e sili atu ona utiuti, o le faʻataʻitaʻiga faʻapitoa a Wasabi / leai-egress [3] faʻafaigofie le olaga i le vaʻaia.

Le Vaega Leai se isi e Mimita 😅

Su'esu'ega moni: e le sa'o.

• Latency - Fa'amama mamao le fa'aputuga ma le teuina ma fetolofi au GPU. le GDS , ae e taua lava le fausaga [4].

• Tau fa'ate'ia - Egress ma API-talosaga tau o lo'o a'e i tagata. O nisi o au'aunaga latou te fa'ate'aina (Wasabi; isi e leai) [3].

• Metadata vevesi i le fua - O ai na te faamatalaina le "upu moni" i pine ma faʻaliliuga? E te manaʻomia ni konekarate, faiga faʻavae, ma nisi maso pulega [5].

O le teuina o mea o lo'o fa'apalapala palama: e taua, ae le o le matagofie.

O Fea e Aga'i Ai 🚀

• E sili atu le atamai, faʻamatalaga AI e faʻapipiʻi faʻailoga ma faʻaalia faʻamatalaga e ala i le SQL-pei o faʻamatalaga fesili [1].

• Fa'alatalata le tu'ufa'atasiga o meafaigaluega (ala DMA, fa'amalo le NIC) o le mea lea e le o fa'agata ai GPU i I/O [4].

• Fa'amatalaga manino, tau fa'atatau (fa'ata'ita'iga fa'afaigofie, fa'ate'aina totogifuapauina o fafo) [3].

E talanoa tagata e uiga i le komepiuta o le lumanaʻi o AI. Ae moni lava? O le fagufagu e faʻatatau i le fafagaina o faʻamatalaga i faʻataʻitaʻiga vave e aunoa ma le feulaina o le paketi . O le mafuaaga lena na o le tuputupu ae o le matafaioi a le teuina o mea.

Fa'auma 📝

O le teuina o mea e le fe'ilafi, ae e fa'avae. A aunoa ma le scalable, metadata-aware, teuina maufe, aʻoaʻoga faʻataʻitaʻiga tetele e pei o le tamoe i se malafoni i seevae seevae.

Ioe ioe-GPU e taua, faʻavae e taua. Ae afai e te manatu mamafa i AI, aua e te le amanaiaina le mea o loʻo ola ai au faʻamatalaga . O le mea e tupu ai, o le teuina o mea faitino ua uma ona taofi filemu le gaioiga atoa.

Fa'asinomaga

[1] AWS S3 – Metadata mea - faiga & metadata masani
https://docs.aws.amazon.com/AmazonS3/latest/userguide/UsingMetadata.html

[2] AWS S3 - Vasega teuina - tumau ("11 nines") + maufetuunaʻi
https://aws.amazon.com/s3/storage-classes/

[3] Wasabi Hot Cloud – Tau - fua fa'atatau, leai se alu i fafo/API pili
https://wasabi.com/pricing

[4] NVIDIA GPUDirect Storage – Docs - DMA auala i GPU
https://docs.nvidia.com/gpudirect-storage/

[5] AWS S3 – Fa'aliliuga - tele fa'aliliuga mo pulega/reproducibility
https://docs.aws.amazon.com/AmazonS3/latest/userguide/Versioning.html

Su'e le AI Fou i le Faleoloa Fesoasoani Lagolago AI

Faatatau ia tatou