O le a le Edge AI?

Edge AI e tuleia le atamai i nofoaga e fananau mai ai faʻamatalaga. E foliga manaia, ae o le manatu autu e faigofie: fai le mafaufau i tafatafa o le masini ina ia faʻaalia nei iʻuga, ae le o se taimi mulimuli ane. E te maua le saoasaoa, fa'atuatuaina, ma se tala fa'alilolilo lelei e aunoa ma le ao fa'atonuina filifiliga uma. Se'i o tatou tatala ese-o ala pupuu ma sailiga itu e aofia ai. 😅

Tala atonu e te mana'o e faitau pe a mae'a lenei:

🔗 O le a le generative AI
Fa'amatalaga manino ole generative AI, pe fa'apefea ona galue, ma fa'aoga aoga.

🔗 O le a le sui sooupu AI
Va'aiga lautele o AI sui, amio tuto'atasi, ma mamanu fa'aoga-lalolagi.

🔗 O le a le AI scalability
A'oa'o pe fa'afefea ona fua fa'aoga AI ma le fa'atuatuaina, lelei, ma le taugofie.

🔗 O le a le fa'avae polokalame mo AI
Fa'amavaega o fa'avae polokalame a le AI, fa'amanuiaga faufale, ma fa'avae fa'atinoga.

O le a le Edge AI? Le fa'amatalaga vave 🧭

Edge AI o le faʻataʻitaʻiga o faʻataʻitaʻiga aʻoaʻoina masini aʻoaʻoga tuusaʻo i luga poʻo lata ane i masini e aoina faʻamatalaga-telefoni, mea pueata, robots, taʻavale, mea e mafai ona faʻaogaina, faʻatautaia pisinisi, e te taʻua ai. Nai lo le lafoina o faʻamatalaga mataʻutia i 'auʻaunaga mamao mo suʻesuʻega, e faʻagasolo e le masini mea faʻaoga i totonu o le lotoifale ma auina atu naʻo otootoga pe leai se mea. Fa'aitiitia le ta'amilosaga, fa'aitiitia le tuai, sili atu le pulea. Afai e te manaʻo i se faʻamatalaga mama, faʻatau-neutral, amata iinei. [1]

O le a le mea e aoga tele ai le Edge AI? 🌟

• Maualalo le taofiofia - faia faaiuga i luga o le masini, o le mea lea e vave ona tali atu mo galuega faʻaalia e pei o le suʻeina o mea, vaʻai-upu, poʻo faʻaaliga faʻaletonu. [1]

• Fa'alilolilo e ala ile nu'u - fa'amatalaga ma'ale'ale e mafai ona tumau ile masini, fa'aitiitia le fa'aalia ma fesoasoani ile fa'aitiitiga o fa'amatalaga. [1]

• Fa'asaoina o bandwidth - lafo foliga po'o mea na tutupu nai lo vaitafe mata'utia. [1]

• Maufetu'i - e galue i le taimi o feso'ota'iga va'aia.

• Puleaina o tau - fa'aitiitia ta'amilosaga fa'akomepiuta ao ma fa'aitiitia le alu i fafo.

• Fa'alauiloa fa'amatalaga - o le masini e "lagona" le si'osi'omaga ma fa'afetaui.

Tala vave: na fesuia'i e le pailate fa'atau oloa le fa'apipi'iina pea o meapueata mo le fa'avasegaina o tagata-vs-meafaitino i luga o le masini ma tulei na'o le faitau itula ma fa'ate'a ata. I'uga: sub-200 ms mataala i le pito o le fata ma ~ 90% pa'u i luga o feso'ota'iga-e aunoa ma le suia o konekarate WAN faleoloa. (Metotia: fa'ai'uga fa'apitonu'u, fa'aputuga o mea na tutupu, na'o fa'aletonu.)

Edge AI vs cloud AI - o le eseesega vave 🥊

• Le mea e tupu ai le fa'atusatusaga : pito = i luga ole masini/latalata ile masini; ao = nofoaga autu o faamatalaga mamao.

• Latency : pito ≈ taimi moni; ao e iai malaga taamilo.

• Fa'agaioiga fa'amaumauga : fa'amama fa'apito/fa'a'omi muamua; e fiafia le ao i luga o le faʻamaoni atoatoa.

• Fa'atuatuaina : e fa'aauau pea ona tamo'e tuusao; ao mana'omia le feso'ota'iga.

• Pulea : e lagolagoina e le pito le fa'aitiitia o fa'amaumauga; ao fa'atotonu le va'aiga. [1]

E le o se tasi-poo. O faiga atamai e fa'afefiloi uma: filifiliga vave i le lotoifale, au'ili'ili loloto ma a'oa'oga va'a i totonu. O le tali fefiloi e le manaia-ma sa'o.

E faʻafefea ona galue Edge AI i lalo ole pulou 🧩

1. e masini fa'ailoga mata'utia-fa'avaa leo, pika meapueata, paipa IMU, fa'ailoga vibration.

2. O le mua'i fa'agaoioiga e toe fa'atusa ai na fa'ailoga i foliga fa'ata'ita'i.

3. Taimi fa'ata'ita'iga e fa'atino ai se fa'ata'ita'iga fa'apitoa i luga o le masini e fa'aoga ai fa'avavevave pe a avanoa.

4. Postprocessing liliu fua i mea tutupu, faʻailoga, poʻo gaioiga faʻatonutonu.

5. Telemetry e fa'apipi'i na'o mea e aoga: aotelega, fa'aletonu, po'o fa'amatalaga fa'avaitaimi.

I luga o masini ta'avale e te va'aia i le vao e aofia ai Google's LiteRT (muamua TensorFlow Lite), ONNX Runtime , ma Intel's OpenVINO . O nei mea faigaluega e fa'apipi'iina le fa'aogaina mai tupe fa'aalu malosi/manatua fa'atasi ai ma togafiti e pei o le fa'avasegaina ma le tu'ufa'atasiga o le fa'agaioia. Afai e te fiafia i nati ma fa'amau, e mautu a latou pepa. [3][4]

O fea e fa'aalia ai - fa'aoga mea moni e mafai ona e fa'asino ile 🧯🚗🏭

• Va'aiga i le pito : logo logo (tagata vs fagafao), su'ega fata i faleoloa, va'alele va'aia fa'aletonu.

• Leo i luga o le masini : fafagu upu, fa'atonuga, su'esu'eina le liki i la'au.

• Industrial IoT : afi ma pamu e mata'ituina mo fa'aletonu o le vibration a'o le'i toilalo.

• Ta'avale : mata'ituina o le aveta'avale, su'esu'eina o le ala, fesoasoani paka-i lalo-lua po'o le pa'u.

• Soifua Maloloina : fu'a fu'a e mafai ona ofuina i le lotoifale; sync otootoga mulimuli ane.

• Telefonitelefoni : faʻaleleia ata, faʻamatalaga spam-valaau, "na faʻapefea ona faia e laʻu telefoni lena mea tuusao" taimi.

Mo faʻamatalaga aloaʻia (ma le "fog vs edge" cousin talk), tagai i le NIST conceptual model. [2]

O meafaigaluega e faʻafefe ai 🔌

O nai fa'avae e su'eina le tele o igoa:

• NVIDIA Jetson - GPU-fa'aogaina modules mo robots/kamera-Swiss-Army-nafi vibes mo AI fa'apipi'i.

• Google Edge TPU + LiteRT - fa'ai'uga fa'ato'a lelei ma se taimi fa'agasolo mo galuega fa'atino e matua'i maualalo le malosi. [3]

• Apple Neural Engine (ANE) - fa'amau i luga ole masini ML mo iPhone, iPad, ma Mac; Ua fa'asalalauina e Apple galuega fa'atino i le fa'aogaina lelei o transformers i le ANE. [5]

• Intel CPUs/iGPUs/NPUs ma OpenVINO - "tusi tasi, faʻapipiʻi soʻo se mea" i luga o masini Intel; pasi fa'alelei aoga.

• ONNX Taimi i so'o se mea - ose ta'aloga e le fa'aituau ma fa'apipi'i fa'apolokalame fa'atino i luga o telefoni, PC, ma faitoto'a. [4]

E te mana'omia uma na mea? Pe lava. Filifili se ala malosi se tasi e fetaui ma lau va'a ma pipii i ai-o le fili o 'au fa'apipi'i.

Le fa'aputuga polokalame - ta'amiloga pu'upu'u 🧰

• Fa'ata'ita'iga fa'amalosi : fa'afuainumera (masani i int8), teuteu, fa'amama.

• Fa'atelega fa'avavevave : fatu e fa'alogo i lau silikoni.

• Taimi fa'agasolo : LiteRT, ONNX Taimi Ta'avale, OpenVINO. [3][4]

• Fa'apipi'i afifi : atigi pusa/app bundles; o nisi taimi microservices i faitotoa.

• MLOps mo le pito : OTA faʻafouga faʻataʻitaʻiga, A/B rollout, telemetry matasele.

• Pulea fa'alilolilo & puipuiga : fa'ailoga i luga o le masini, fa'amau fa'amau, fa'amaoniga, fa'amau.

Iti-case: o le au su'esu'e drone na fa'amama se masini su'esu'e mamafa i totonu o se fa'ata'ita'iga fa'ata'ita'i a tamaiti a'oga mo le LiteRT, ona fa'afefiloi lea o le NMS i luga o le masini. Ua fa'aleleia le taimi o le va'alele ~ 15% fa'afetai i le fa'aitiitiga o fa'asologa o fa'asologa; fa'apipi'i le leo fa'aitiiti i fa'avaa fa'apitoa. (Metotia: pu'eina o fa'amaumauga i luga o le saite, fa'avasegaina pe a uma le aofa'i, fa'ata-ata A/B a'o le'i fa'agasolo atoa.)

Laulau fa'atusatusa - lauiloa Edge AI filifiliga 🧪

Tala moni: o lenei laulau e fa'aituau ma fai sina fa'aletonu-pei o le lalolagi moni.

E fa'afefea ona filifili se ala Edge AI - o se la'au filifiliga la'ititi 🌳

• Faigata taimi moni lou olaga? Amata i mea fa'avave + fa'atusa fa'atusa.

• Tele ituaiga masini? Fa'afiafia le ONNX Runtime po'o le OpenVINO mo le feavea'i. [4]

• La'uina o se telefoni feavea'i? O le LiteRT o le ala e sili ona itiiti le tetee. [3]

• Robotics po'o su'esu'ega meapueata? O galuega fa'alelei a le GPU a Jetson e sefe ai le taimi.

• Sa'o le tu'u fa'alilolilo? Taofi fa'amatalaga fa'apitonu'u, fa'ailoga i le malologa, fa'aputu fa'amaumauga e le o fa'avaa mata.

• Laiti au? Aloese mai so'o se mea faigaluega-e manaia le manaia.

• O faʻataʻitaʻiga o le a suia soo? Fuafua le OTA ma le telemetry mai le aso muamua.

Tulaga lamatia, tapula'a, ma mea e le manaia-ae-taua 🧯

• Fa'ata'ita'i fa'ata'ita'iga - suiga si'osi'omaga; mata'itu tufatufaga, fa'agasolo ata lafoia, toe a'oa'o i lea taimi ma lea taimi.

• Fa'atatau fa'alo - fa'amalo le manatua/malosi fa'ata'ita'iga laiti po'o le sa'o sa'o.

• Saogalemu - fa'apea le avanoa fa'aletino; fa'aoga se'a fa'amautu, fa'ailoga saini, fa'amaoniga, auaunaga e le fa'atauaina.

• Pulea o fa'amaumauga - fesoasoani fa'alotoifale, ae e mana'omia pea le fa'atagaga, fa'atumauina, ma le telemetry lautele.

• Fua'iga - o masini e alu tuusao i taimi sili ona leaga; mamanu fa'afouga tuai ma toe fa'auluina.

• Taleni fa'afefiloi - fa'apipi'i + ML + DevOps o se auva'a motley; kolosi nofoaafi vave.

Ose fa'afanua fa'atino e lafo ai se mea aoga 🗺️

1. Filifili se fa'aoga fa'aoga fa'atasi ma le su'esu'eina o le tau fa'aletonu i luga ole Laina 3, fafagu upu ile failauga atamai, ma isi.

2. Aoina se fa'amaumauga tu'ufa'atasi e fa'atusa le si'osi'omaga fa'atatau; tui le pisa e fetaui ma le mea moni.

3. Fa'ata'ita'iga i luga o se pusa fa'ata'ita'i latalata i mea faigaluega gaosi.

4. Fa'amau le fa'ata'ita'iga i le fa'avasegaina/tete; fua sa'o gau ma le faamaoni. [3]

5. Afi le fa'ai'uga ile API mama fa'atasi ma fa'amaufa'ailoga ma leoleo-ona o masini e tautau ile 2 i le taeao

6. Fuafua le telemetry e faʻaaloalo i le le faalauaiteleina: lafo numera, histograms, faʻailoga faʻapipiʻi.

7. Fa'amalo saogalemu : fa'amau saini, fa'amau fa'amau, fa'alaiti auaunaga tatala.

8. Fuafua OTA : ta'avale fa'atete'e, ta'avale, toe fa'afo'i vave.

9. Pailate i totonu o se pusa tulimanu mata'utia muamua-a ola ai iina, o le a ola i soo se mea.

10. Fua fa'atasi ma se tusi ta'alo : fa'afefea ona e fa'aopoopoina fa'ata'ita'iga, fa'asolo ki, fa'amaumauga fa'amaumauga-o le poloketi #2 e le o se vevesi.

FAQs - tali pupuu ile What is Edge AI curiosities ❓

O Edge AI naʻo le faʻatinoina o se tamaʻi faʻataʻitaʻiga i luga o se tamaʻi komepiuta?
Ole tele, ioe-ae o le tele e le o le tala atoa. E fa'atatau fo'i i tala fa'atatau o tupe, folafolaga fa'alilolilo, ma le fa'avasegaina o le tele o masini o lo'o fa'atino i le lotoifale ae a'oa'oina i le lalolagi atoa. [1]

E mafai foi ona ou koleni i le pito?
O lo'o iai a'oa'oga/fa'asinomaga mama; a'oa'oga mamafa o lo'o fa'agatotonu pea. ONNX Runtime fa'amaumauga i luga ole masini fa'aa'oa'oga filifiliga pe afai o lo'o e fa'atauva'a. [4]

O le a le Edge AI vs fog computing?
O le puao ma le pito o tausoga. E fa'alatalata fa'alatalata atu fa'amaumauga i fa'amatalaga, o nisi taimi e ala atu i faitoto'a lata ane. Mo fa'amatalaga aloa'ia ma fa'amatalaga, va'ai NIST. [2]

E faʻaleleia pea e Edge AI le le faalauaiteleina?
E fesoasoani-ae le o se togafiti. E te mana'omia pea le fa'aitiitiga, fa'amautu ala fa'afouga, ma fa'aeteete fa'amau. Fai le le faalauaiteleina o se masani, ae le o se pusa siaki.

Maulu loloto atonu e te faitau moni lava 📚

1) Fa'ata'ita'iga fa'ata'ita'iga e le fa'aleagaina ai le sa'o

E mafai e le fa'avasegaina ona fa'aitiitia le manatua ma fa'avavevave galuega, ae fa'avasega fa'atasi ma fa'amatalaga fa'atusa po'o le fa'ata'ita'iga e mafai ona fa'afoliga squirrels i mea o lo'o i ai fa'aputuga ta'avale. Distillation-faiaoga e taʻitaʻia se tamaititi laʻititi-e masani ona faʻasaoina semantics. [3]

2) Taimi fa'ata'ita'iga pito ile fa'atinoga

O le fa'aliliuupu a le LiteRT o se fa'alavelave fa'afuase'i-fa'aitiitia le manatua i le taimi fa'agaoioiga. ONNX Runtime e faʻapipiʻi i faʻavavevave eseese e ala i le tuʻuina atu o faʻatinoga. E lē o se pulufana siliva; e lua o samala malo. [3][4]

3) Malosi i le vao

Avela, pefu, malosi pa'epa'e, slapdash Wi-Fi: fausia ni ta'ifau e toe amata laina paipa, fa'ai'uga fa'aoga, ma toe fa'alelei pe a toe fo'i le feso'otaiga. E itiiti le manaia nai lo le gauai atu-sili atu ona taua.

Le fuaitau e te toe faia i fonotaga - O le a le Edge AI 🗣️

Edge AI e fa'alatalata atu le atamai i fa'amaumauga e fa'afetaui ai fa'alavelave fa'atino o le taofiofia, fa'alilolilo, bandwidth, ma le fa'amaoni. O le togafiti fa'ataulāitu e le'o se va'a po'o se fa'avae-e na o le filifilia ma le poto po'o fea e fa'atatauina.

Saunoaga Fa'ai'u - Ua Umi, Ou te Le'i Faitauina 🧵

Edge AI fa'ata'ita'i fa'ata'ita'iga lata ane i fa'amaumauga ina ia lagona vave ai oloa, fa'alilolilo ma malosi. E te fa'afefiloi fa'alotoifale fa'atasi ma le va'aiga ao mo le sili o lalolagi uma e lua. Filifili se taimi faʻataʻavale e fetaui ma au masini, faʻalagolago i faʻavavevave pe a e mafaia, faʻamama faʻataʻitaʻiga i le faʻamalosi, ma faʻatulagaina le faʻaogaina o vaʻa e pei o lau galuega e faʻalagolago i ai-aua, atonu. Afai e fesili se tasi O le a le Edge AI , fai atu: filifiliga atamai, faia i le lotoifale, i le taimi. Ona ataata lea ma sui le mataupu i maa. 🔋🙂

Fa'asinomaga

1. IBM - O le a le Edge AI? (uiga, manuia).
   https://www.ibm.com/think/topics/edge-ai

2. NIST - SP 500-325: Fog Computing Conceptual Model (malaga masani mo le puao/pito).
   https://csrc.nist.gov/pubs/sp/500/325/final

3. Google AI Edge - LiteRT (muamua TensorFlow Lite) (taimi fa'agasolo, fa'atusatusaga, femalagaiga).
   https://ai.google.dev/edge/litert

4. ONNX Taimi Taimi - A'oa'oga I luga ole Masini (taimi feavea'i + a'oa'oga i luga o masini mata).
   https://onnxruntime.ai/docs/get-started/training-on-device.html

5. Su'esu'ega A'oa'oga o Masini a Apple - Fa'aaogā Transformers ile Apple Neural Engine (ANE fa'amatalaga lelei).
   https://machinelearning.apple.com/research/neural-engine-transformers

Su'e le AI Fou i le Faleoloa Fesoasoani Lagolago AI

Faatatau ia tatou