Sa masani ona ola le AI i luga o 'au'aunaga tetele ma GPU ao. O lea ua fa'aitiitia ma se'e sa'o lava i tafatafa o masini fa'alogo. O le AI mo faiga fa'apipi'i e le o se folafolaga mamao - ua uma ona gugulu i totonu o pusaaisa, vaalele e leai ni pailate, masini e mafai ona ofuina ... e o'o lava i masini e foliga mai e le "atamai".
O le mafuaʻaga lea e taua ai lenei suiga, mea e faigata ai, ma o a filifiliga e aoga ai lou taimi.
O tala e te ono fia faitauina pe a uma lenei:
🔗 Meafaigaluega sili ona lelei mo le pulega o le AI e fa'amautinoa ai faiga fa'a-AI e tausisia amioga mama ma manino
Ta'iala i meafaigaluega e fesoasoani e fa'atumauina ai le AI e fa'atino ai amioga mama, tausisia tulafono, ma manino.
🔗 Teuina o mea faitino mo le AI: filifiliga, filifiliga, filifiliga
Faatusatusaga o filifiliga mo le teuina o meafaitino ua mamanuina mo avega o galuega a le AI.
🔗 Manaʻoga mo le teuina o faʻamaumauga mo le AI: mea e te manaʻomia moni lava ona iloa
Mea taua e mafaufau i ai pe a fuafuaina le teuina o faʻamatalaga AI.
AI mo Faiga Fa'apipi'i🌱
E laiti masini ua fa'apipi'iina, e masani ona fa'aaogaina le maa, ma e fa'atapula'aina punaoa. Ae o le AI e maua ai ni manuia tetele:
-
Fa'ai'uga i le taimi moni e aunoa ma ni malaga fa'ata'amilo i le ao.
-
Tulaga faalilolilo ua fuafuaina - e mafai ona tumau pea faʻamatalaga mata i luga o le masini.
-
Fa'aitiitia le latency pe a taua le milliseconds.
-
Fa'ai'uga e iloa ai le malosi e ala i filifiliga fa'aeteete o le fa'ata'ita'iga + meafaigaluega.
E lē o ni fa'amanuiaga faigofie ia: o le tuleia o le komepiuta i le pito e fa'aitiitia ai le fa'alagolago i feso'ota'iga ma fa'amalosia ai le le faalauaiteleina mo le tele o fa'aoga [1].
O le togafiti e lē o le fa'amalosi - ae o le atamai i punaoa fa'atapula'a. Se'i mafaufau i le tamo'e i se marathon ma se ato fa'afafa… ae o lo'o fa'aauau pea ona aveese e inisinia piliki.
Siata Fa'atusatusaga Pupuu o le AI mo Faiga Fa'apipi'i 📝
| Meafaigaluega / Fa'avae | Aufaitau Sili Ona Lelei | Tau (tusa) | Aiseā e Aoga ai (faʻamatalaga uiga ese) |
|---|---|---|---|
| TensorFlow Lite | Tagata atia'e, tagata e fiafia i mea faafiafia | Sa'oloto | MCU faigofie, feavea'i, ma lelei → ufiufi feavea'i |
| Fa'aosofiaga o le Pito | Tagata amata ma kamupani fou | Vaega Freemium | Faiga o galuega toso-ma-tu'u - e pei o le "AI LEGO" |
| Fa'avae o Nvidia Jetson | Inisinia e manaʻomia le eletise | $$$ (e lē taugofie) | GPU + fa'atelevave mo le va'ai mamafa/galuega mamafa |
| TinyML (e ala i le Arduino) | Faiaʻoga, tagata faʻataʻitaʻi | Tau maualalo | Faigofie ona talanoa i ai; e fa'atino e le nu'u ❤️ |
| Afifi Fa'a-Qolar AI | OEM, kamupani gaosi telefoni feavea'i | E eseese | Fa'avavevaveina le NPU i luga o le Snapdragon - vave fa'alilolilo |
| ExecuTorch (PyTorch) | Atina'e feavea'i ma pito | Sa'oloto | Taimi e fa'agaoioi ai le PyTorch i luga o le masini mo telefoni/mea e mafai ona ofuina/mea ua fa'apipi'iina [5] |
(Ioe, e le tutusa. E faapena foi le mea moni.)
Aiseā e Tāua ai le AI i luga o Masini Fa'apipi'i mo Alamanuia 🏭
E lē gata i le fa'asalalauina o tala fa'atauva'a: i luga o laina falegaosimea, o fa'ata'ita'iga laiti e maua ai mea sese; i fa'ato'aga, o node e maualalo le malosi e su'esu'e le eleele i le fanua; i ta'avale, e le mafai e mea saogalemu ona "telefoni i le fale" a'o le'i taofi. A le mafai ona fetu'una'i le latency ma le le faalauaiteleina, o le si'itia o le compute i le pito o se auala taua [1].
TinyML: O le Toa Leoa o le AI Fa'apipi'i 🐜
le TinyML ni fa'ata'ita'iga i luga o microcontrollers e iai kilobytes i ni nai megabytes o le RAM - ae o lo'o fa'atinoina pea le va'aia o upu autu, le iloaina o gaioiga, le iloa o mea e le masani ai, ma isi mea. E pei o le matamata i se isumu o lo'o si'i se piliki. E ese le fa'amalieina.
O se faʻataʻitaʻiga vave o le mafaufau:
-
Tulagavae o fa'amaumauga: mea e ulufale mai ai masini fa'alogo laiti.
-
Fa'ata'ita'iga: CNNs/RNNs fa'aputu, ML masani, po'o upega fa'asolosolo/fa'atusatusa.
-
Paketi: milliwatts, ae le o watts; KB–MB, ae le o GB.
Filifiliga o Meafaigaluega: Tau vs. Faatinoga ⚔️
O le filifilia o meafaigaluega e mafua ai ona le mautonu le tele o galuega faatino:
-
Vasega Raspberry Pi: CPU e faigofie ona fa'aaogaina, e aoga mo le lautele; e malosi mo fa'ata'ita'iga.
-
NVIDIA Jetson: o vaega fa'apitoa o le AI pito ua fausia fa'apitoa (e pei o le Orin) e tu'uina atu ai le tele o TOPS mo le va'ai mafiafia po'o le tele o fa'ata'ita'iga - lelei tele, ae sili atu le taugata ma le mamafa o le malosi [4].
-
Google Coral (Edge TPU): o se ASIC accelerator e tuʻuina atu le ~4 TOPS i le tusa ma le 2W (~2 TOPS/W) mo faʻataʻitaʻiga faʻatulagaina - o se perf/W mataʻina pe a fetaui lau faʻataʻitaʻiga ma tapulaʻa [3].
-
Smartphone SoCs (Snapdragon): e lafo fa'atasi ma NPUs ma SDKs e fa'agaoioia ai fa'ata'ita'iga ma le lelei i luga o le masini.
Tulafono faigofie: paleni le tau, vevela, ma le komepiuta. O le "lelei lava, i soo se mea" e masani ona sili atu nai lo le "fa'aonaponei, leai se mea."
Lu'itau Masani i le AI mo Faiga Fa'apipi'i 🤯
E masani ona tauivi inisinia ma:
-
Le malosi o le manatua: e le mafai e masini laiti ona fa'aoga ni fa'ata'ita'iga tetele.
-
Paketi o maa: e tāua milliamp uma.
-
Fa'aleleia atili o le fa'ata'ita'iga:
-
Fa'atusatusaga → mamafa/fa'agaoioiga laiti ma vave int8/float16.
-
Teuteu → aveese mamafa e le taua mo le vao ma laiti.
-
Fa'aputuga/fa'asoaina o le mamafa → fa'apipi'i atili.
O metotia masani ia mo le lelei o le fa'aogaina i luga o le masini [2].
-
-
Fa'alauteleina: o se fa'ata'ita'iga Arduino i totonu o le potuaoga ≠ o se faiga gaosiga o ta'avale fa'atasi ai ma tapula'a saogalemu, puipuiga, ma le olaga atoa.
Fa'aleleia mea sese? Va'ai faalemafaufau i le faitauina o se tusi i totonu o se pu ki… ma ofuina ni totigilima.
Fa'aoga Aogā o le a E Va'ai Atili Ai I Se Taimi Vave 🚀
-
O masini feavea'i atamai e faia ni iloiloga tau soifua maloloina i luga o masini.
-
O mea pu'eata IoT e fa'ailoa mai mea tutupu e aunoa ma le fa'asalalauina o ata mata.
-
Fesoasoani leo e le fa'aogaina ai le initaneti mo le pulea e aunoa ma lima - e leai se fa'alagolago i le ao.
-
O vaalele e leai ni pailate (drones) e pulea e le malo mo asiasiga, tilivaina atu, ma le faia sa'o o galuega.
I se aotelega: Ua latalata atili mai le AI - i luga o o tatou tapulima, i totonu o a tatou umukuka, ma totonu o a tatou atina'e.
Auala e Mafai ai e le Au Atiina Aʻe ona Amata 🛠️
-
Amata i le TensorFlow Lite mo meafaigaluega lautele ma le MCU→ufiufi feavea'i; fa'aoga vave le quantization/pruning [2].
-
Su'esu'e le ExecuTorch pe afai e te nofo i le atunu'u o PyTorch ma e te mana'omia se taimi e fa'agaoioi ai i luga o le masini feavea'i ma le masini fa'apipi'i [5].
-
Fa'aaoga le Arduino + TinyML kits mo se fa'ata'ita'iga vave ma matagofie.
-
E te fiafia i auala vaaia? le Edge Impulse le fa'alavelave i le pu'eina o fa'amaumauga, a'oa'oga, ma le fa'atinoina.
-
Ia taulima masini komepiuta e pei o se tagatanuu sili ona lelei - faʻataʻitaʻiga i luga o CPU, ona faʻamaonia lea i lau faʻavavevave faʻamoemoe (Edge TPU, Jetson, NPU) e faʻamaonia ai le latency, thermals, ma le saʻo o deltas.
Mini-vignette: Ua auina atu e se 'au se masini e iloa ai le gatete o mea e le masani ai i luga o se masini e iloa ai mea e le masani ai. E misia e le fa'ata'ita'iga float32 le paketi o le eletise; o le int8 quantization e fa'aitiitia ai le malosiaga i le fa'ai'uga, o le tipiina e fa'aitiitia ai le manatua, ma o le fa'asolosoloina o tiute o le MCU e fa'auma ai le galuega - e leai se feso'ota'iga e mana'omia [2,3].
O le Fouvalega Filemu o le AI mo Faiga Fa'apipi'i 🌍
O loʻo aʻoaʻoina e masini faʻagasolo laiti ma taugofie le iloa → mafaufau → galue - i le lotoifale. O le a faʻalavelaveina pea i tatou e le umi o le ola o le maa, ae o loʻo manino lava le ala: faʻataʻitaʻiga sili atu ona faʻapipiʻi, faʻaputuga sili atu ona lelei, faʻatelevavega atamai. O le iʻuga? Tekonolosi e sili atu ona patino ma tali vave ona e le gata ina fesoʻotaʻi - ae o le gauai atu.
Fa'asinomaga
[1] ETSI (Multi-access Edge Computing) - Fa'amanuiaga o le Latency/fa'alilolilo ma le tulaga o le alamanuia.
ETSI MEC: Aotelega Fou o le Pepa Pa'epa'e
[2] Google TensorFlow Model Optimization Toolkit - Fuainumera, tipiina, fa'aputuga mo le lelei o le fa'aogaina o masini.
Taiala mo le Fa'aleleia o le Fa'ata'ita'iga TensorFlow
[3] Google Coral Edge TPU - Fa'ailoga Perf/W mo le fa'avavevaveina o le pito.
Fa'ailoga Edge TPU
[4] NVIDIA Jetson Orin (Alo'ia) - Edge AI modules ma fa'atinoga.
Aotelega o Jetson Orin Modules
[5] PyTorch ExecuTorch (Pepa Aloaia) - Taimi e fa'agaoioi ai le PyTorch i luga o masini feavea'i ma le pito.
Aotelega o le ExecuTorch