A faʻalogo le toʻatele o tagata i le "atamai faʻapitoa," latou te mafaufau i upega neula, algorithms faʻapitoa, pe atonu foʻi o na robots humanoid e fai si uiga ese. O le mea e seasea taʻua muamua o le mea lenei: E 'ai e le AI le teuina o mea e toetoe lava a tutusa ma le tele o le faʻaaogaina o le komepiuta. Ma e le na o soʻo se teuina o mea e teu ai mea e nofo filemu i tua, e faia le galuega e le matagofie ae matua taua lava o le fafagaina o faʻataʻitaʻiga i faʻamatalaga latou te manaʻomia.
Se'i o tatou fa'amatala auiliili le mea e taua tele ai le teuina o meafaitino mo le AI, le eseesega mai mea masani o faiga teuina, ma le mafua'aga e avea ai ma se tasi o vaega taua mo le fa'alauteleina ma le fa'atinoga.
O tala e te ono fia faitauina pe a uma lenei:
🔗 O a tekinolosi e tatau ona i ai e faʻaaoga ai le tele o le AI generative mo pisinisi
O tekinolosi autū e manaʻomia e pisinisi mo le faʻateleina lelei o le AI gaosia.
🔗 Pulega o faʻamaumauga mo meafaigaluega AI e tatau ona e tilotilo i ai
Faiga sili ona lelei mo le taulimaina o faʻamaumauga e faʻaleleia atili ai le faʻatinoga o le AI.
🔗 Aafiaga o le atamai fa'apitoa mo fuafuaga fa'apisinisi
Pe faʻapefea ona aʻafia e le AI fuafuaga faapisinisi ma le faia o faʻaiuga mo le lumanaʻi.
O le ā le mea e aogā ai le AI i le teuina o meafaitino? 🌟
O le manatu tele: o le teuina o mea faitino e le popole i faila poʻo ni faʻatulagaga poloka faigata. E vaevaeina faʻamatalaga i ni "mea faitino," e tofu ma faʻailogaina i metadata. O na metadata e mafai ona avea ma mea i le tulaga o le faiga (tele, faʻailoga taimi, vasega teuina) ma faʻailoga ki:taua ua faʻamatalaina e le tagata faʻaoga [1]. Mafaufau i ai e pei o faila uma o loʻo i ai se faʻaputuga o faʻamatalaga pipii e taʻu atu ia te oe poʻo le a tonu lava, pe faʻapefea ona fatuina, ma le mea e fetaui i lau pipeline.
Mo 'au a le AI, o lena fetuutuuna'i o se suiga tele lea:
-
Fa'ateleina e aunoa ma le ma'i ulu - E fa'alautele atu vaituloto o fa'amaumauga i petabytes, ma e faigofie ona taulimaina e fale teu mea. Ua mamanuina mo le tuputupu a'e e toetoe lava a le gata ma le tumau o le tele-AZ (e mitamita le Amazon S3 e uiga i le "11 nines" ma le toe faia o le cross-zone i le tulaga masani) [2].
-
O le tamaoaiga o fa'amaumauga - Su'esu'ega vave, fa'amama mama, ma paipa atamai ona o le fa'asologa o mea ta'itasi e fetaui ma mea ta'itasi [1].
-
Ao-native - E oʻo mai faʻamatalaga e ala i le HTTP(S), o lona uiga e mafai ona e faʻatusatusa le tosoina ma faʻaauau pea ona faʻagasolo aʻoaʻoga tufatufaina.
-
Onosa'i ua fa'aputuina - A e faia a'oa'oga mo ni aso, e le mafai ona e lamatia se fasi ua faaleagaina i le taimi e fasiotia ai le vaega lona 12. O le teuina o meafaitino e 'alofia ai lena mea i le fuafuaga [2].
E pei lava o se ato fa'afafa e leai se gata: atonu e palapalā totonu, ae e mafai lava ona toe aumai mea uma pe a e aapa i ai.
Siata Fa'atusatusaga Pupuu mo le Teuina o Meafaitino AI 🗂️
| Meafaigaluega / Auaunaga | Sili mo (Tagata Maimoa) | Tau o le Tau | Aiseā e Aoga ai (Fa'amatalaga i autafa) |
|---|---|---|---|
| Amazon S3 | Pisinisi + 'Au e fa'amuamua le ao | Totogi-a-o-e-fa'aaoga | Matuā tumau, e mafai ona tete'e i itu uma o le itulagi [2] |
| Teuina o le Ao a Google | Saienitisi fa'amaumauga ma le au atina'e ML | Vaega fetuutuunai | Feso'ota'iga malolosi o ML, e atoatoa ona fa'aogaina i le ao |
| Teuina o le Azure Blob | Faleoloa e tele ai Microsoft | Fa'avaega (vevela/malulu) | Lelei fa'atasi ma fa'amaumauga a Azure + meafaigaluega ML |
| MiniIO | Fa'atulagaga tatala/ DIY | E leai se totogi/tautua oe lava | E fetaui ma le S3, mama, faʻapipiʻi i soo se mea 🚀 |
| Ao Vevela o Wasabi | Fa'alapotopotoga e maaleale i tau | Tau maualalo mautu $ | Leai se totogi e alu ese ai pe totogi mo le talosaga API (e tusa ai ma le tulafono) [3] |
| Teuina o Meafaitino Ao a le IBM | Pisinisi tetele | E eseese | Fa'aputuga matua ma filifiliga malolosi mo le saogalemu o pisinisi |
Ia siaki pea le tau e tusa ai ma le mea moni e te faʻaaogaina—aemaise lava le auala e alu ese ai, le tele o talosaga, ma le faʻafefiloi o le vasega o mea e teu ai.
Aiseā e Fiafia ai Aʻoaʻoga AI i le Teuina o Meafaitino 🧠
O aʻoaʻoga e lē o se “ni nai faila.” O le miliona ma miliona o faʻamaumauga ua faʻaleagaina faʻatasi. O faiga faila faʻasolosolo e faʻaletonu i lalo o le mamafa o le faʻasologa. O le teuina o meafaitino e aloese mai lena mea i avanoa igoa mafolafola ma API mama. O meafaitino taʻitasi e iai se ki tulaga ese; o tagata faigaluega e salalau ma aumai faʻatasi. O faʻamaumauga ua vaevaeina + I/O tutusa = GPU e pisi nai lo le faʻatali.
Fautuaga mai le auvai: teu ni fasi mea vevela e lata ane i le compute cluster (itulagi po'o le sone lava e tasi), ma fa'aaoga lelei le SSD. Afai e te mana'omia ni fafaga tuusa'o i totonu o GPU, le NVIDIA GPUDirect Storage - e fa'aitiitia ai le CPU bounce buffers, fa'aitiitia le latency, ma fa'ateleina le bandwidth sa'o i accelerators [4].
Metadata: O le Malosiaga Tele e Le’i Fa’atauaina 🪄
O iinei e sili atu ona iloga ai le teuina o mea faitino i ni auala e le o manino tele. A e lafoina i luga, e mafai ona e fa'apipi'i fa'amaumauga fa'apitoa (e pei o le x-amz-meta-… mo le S3). O se fa'amaumauga va'aiga, mo se fa'ata'ita'iga, e mafai ona fa'ailogaina ata i le malamalama=maualalo po'o le le manino=maualuga. O lena mea e mafai ai e paipa ona fa'amama, paleni, pe fa'avasega e aunoa ma le toe su'esu'eina o faila mata [1].
Ona sosoo ai lea ma le fa'aliliuga (version). O le tele o faleoloa o meafaitino e teuina fa'aliliuga eseese o se meafaitino i autafa-e atoatoa mo fa'ata'ita'iga e mafai ona toe gaosia pe faiga fa'avae tau pulega e mana'omia ona toe fa'afo'i [5].
Meafaitino vs Poloka vs Teuina o Faila ⚔️
-
Teuina o Poloka: Matagofie mo faʻamaumauga faʻatauga - vave ma saʻo - ae taugata tele mo faʻamaumauga e leʻi faʻatulagaina i le tele o petabyte.
-
Teuina o Faila: Masani, faigofie ona fa'aoga i le POSIX, ae o faila e pisi tele i lalo o avega tutusa.
-
Teuina o Meafaitino: Fuafuaina mai le eleele mo le tele, tutusa, ma le avanoa e faʻavae i luga o metadata [1].
Afai e te manaʻo i se faʻataʻitaʻiga faigata: o le teuina o poloka o se kapeneta faila, o le teuina o faila o se faila i luga o le komepiuta, ma le teuina o meafaitino o… o se lua e leai se gata e iai ni faʻamatalaga pipii e mafai ai ona faʻaaogaina.
Fa'asologa o Galuega Fa'afefiloi AI 🔀
E lē na'o le ao e fa'aogaina ai i taimi uma. O se fa'afefiloi masani e foliga fa'apenei:
-
Teuina o mea faitino i totonu o le nofoaga (MinIO, Dell ECS) mo fa'amatalaga maaleale pe fa'atonutonuina.
-
Teuina o mea faitino i le ao mo galuega faatino fa'afuase'i, fa'ata'ita'iga, po'o le galulue fa'atasi.
O lenei paleni e aʻafia ai le tau, le tausisia o tulafono, ma le vave ona gaoioi. Ua ou vaʻaia ni 'au o loʻo lafoina moni lava terabytes i totonu o se pakete S3 i le po e tasi e faʻamalamalama ai se vaega GPU le tumau-ona faʻaumatia lea pe a maeʻa le sprint. Mo ni paketi faʻatapulaʻa, o le faʻataʻitaʻiga flat-rate/no-egress a Wasabi [3] e faʻafaigofie ai ona vavalo.
O le Vaega e Leai se Tasi e Mimita Ai 😅
Siaki le mea moni: e lē o se mea e lelei atoatoa.
-
Fa'atuai - Tu'u le komepiuta ma le teuina o mea i se mamao tele ma fa'asolosolo ai au GPU. le GDS , ae e taua pea le fausaga [4].
-
Tau e ofo ai - E fa'afuase'i ona oso a'e totogi o le Egress ma le API-request i tagata. O nisi o kamupani e tu'uina atu auaunaga e fa'aleaogaina (e faia e Wasabi; o isi e leai) [3].
-
Le fenumiai o fa'amaumauga meta i le tele o tulaga - O ai e fa'amatalaina le "upu moni" i pine ma fa'aliliuga? E te mana'omia konekarate, faiga fa'avae, ma nisi tomai tau pulega [5].
O le teuina o meafaitino e taua tele i le fa'aleleia atili o atinae: e taua tele, ae e le o se mea e matagofie.
O fea o loʻo agaʻi i ai 🚀
-
O se teuina atamai, e iloa e le AI e otometi lava ona fa'ailogaina ma fa'aalia fa'amaumauga e ala i vaega fesili e pei o le SQL [1].
-
Feso'ota'iga vavalalata o masini komepiuta (ala DMA, fa'aitiitiga o uta a le NIC) ina ia le fa'aletonu ai GPU i le I/O [4].
-
Tau manino ma mafai ona vavaloina (fa'ata'ita'iga faigofie, totogi fa'a'esea) [3].
E talanoa tagata e uiga i le komepiuta o se lumanaʻi o le AI. Ae o le mea moni? O le faʻafitauli e tutusa lava le faʻatumuina o faʻamatalaga i totonu o faʻataʻitaʻiga i se taimi vave e aunoa ma le faʻaaluina o le paketi. O le mafuaʻaga lea e faʻatupulaʻia ai le matafaioi o le teuina o mea faitino.
Aotelega 📝
E lē o se mea e matuā tāua le teuina o meafaitino, ae e faavae lava. A aunoa ma se teuina e mafai ona faʻalauteleina, e iloa ai faʻamatalaga patino, ma e mautu, o le aʻoaʻoina o faʻataʻitaʻiga tetele e pei o le tamoʻe i se malafoni i seevae tosotoso.
O lea la, e tāua GPU, e tāua fa'avae. Ae afai e te matuā fiafia i le AI, aua le fa'agaloina le mea o lo'o i ai au fa'amatalaga. E foliga mai, o le teuina o meafaitino ua uma ona taofia filemu le fa'agaioiga atoa.
Fa'asinomaga
[1] AWS S3 – Fa'amaumauga o mea faitino - faiga & fa'amaumauga fa'apitoa
https://docs.aws.amazon.com/AmazonS3/latest/userguide/UsingMetadata.html
[2] AWS S3 – Vasega teuina - tumau (“11 iva”) + maufetuuna’i
https://aws.amazon.com/s3/storage-classes/
[3] Wasabi Hot Cloud – Tau - fua faatatau tumau, leai ni totogifa'asolo ese/API
https://wasabi.com/pricing
[4] NVIDIA GPUDirect Storage – Docs - Auala DMA i GPUs
https://docs.nvidia.com/gpudirect-storage/
[5] AWS S3 – Fa'aliliuga - tele fa'aliliuga mo le pulega/toe gaosia
https://docs.aws.amazon.com/AmazonS3/latest/userguide/Versioning.html