O le a le Edge AI?

O le a le Edge AI?

Edge AI e tuleia le atamai i nofoaga e fananau mai ai faʻamatalaga. E foliga manaia, ae o le manatu autu e faigofie: fai le mafaufau i tafatafa o le masini ina ia faʻaalia nei iʻuga, ae le o se taimi mulimuli ane. E te maua le saoasaoa, fa'atuatuaina, ma se tala fa'alilolilo lelei e aunoa ma le ao fa'atonuina filifiliga uma. Se'i o tatou tatala ese-o ala pupuu ma sailiga itu e aofia ai. 😅

O tala e te ono fia faitauina pe a uma lenei:

🔗 O le a le generative AI
Fa'amatalaga manino ole generative AI, pe fa'apefea ona galue, ma fa'aoga aoga.

🔗 O le a le sui sooupu AI
Va'aiga lautele o AI sui, amio tuto'atasi, ma mamanu fa'aoga-lalolagi.

🔗 O le a le AI scalability
A'oa'o pe fa'afefea ona fua fa'aoga AI ma le fa'atuatuaina, lelei, ma le taugofie.

🔗 O le a le fa'avae polokalame mo AI
Fa'amavaega o fa'avae polokalame a le AI, fa'amanuiaga faufale, ma fa'avae fa'atinoga.

O le a le Edge AI? Le fa'amatalaga vave 🧭

Edge AI o le faʻataʻitaʻiga o faʻataʻitaʻiga aʻoaʻoina masini aʻoaʻoga tuusaʻo i luga poʻo lata ane i masini e aoina faʻamatalaga-telefoni, mea pueata, robots, taʻavale, mea e mafai ona faʻaogaina, faʻatautaia pisinisi, e te taʻua ai. Nai lo le lafoina o faʻamatalaga mataʻutia i 'auʻaunaga mamao mo suʻesuʻega, e faʻagasolo e le masini mea faʻaoga i totonu o le lotoifale ma auina atu naʻo otootoga pe leai se mea. Fa'aitiitia le ta'amilosaga, fa'aitiitia le tuai, sili atu le pulea. Afai e te manaʻo i se faʻamatalaga mama, faʻatau-neutral, amata iinei. [1]

 

Edge AI

O le a le mea e aoga tele ai le Edge AI? 🌟

  • Maualalo le taofiofia - faia faaiuga i luga o le masini, o le mea lea e vave ona tali atu mo galuega faʻaalia e pei o le suʻeina o mea, vaʻai-upu, poʻo faʻaaliga faʻaletonu. [1]

  • Fa'alilolilo e ala ile nu'u - fa'amatalaga ma'ale'ale e mafai ona tumau ile masini, fa'aitiitia le fa'aalia ma fesoasoani ile fa'aitiitiga o fa'amatalaga. [1]

  • Fa'asaoina o bandwidth - lafo foliga po'o mea na tutupu nai lo vaitafe mata'utia. [1]

  • Maufetu'i - e galue i le taimi o feso'ota'iga va'aia.

  • Puleaina o tau - fa'aitiitia ta'amilosaga fa'akomepiuta ao ma fa'aitiitia le alu i fafo.

  • Malamalama i le tulaga o lo'o i ai - e "lagona" e le masini le siosiomaga ma fetu'una'i.

Tala vave: na fesuia'i e le pailate fa'atau oloa le fa'apipi'iina pea o meapueata mo le fa'avasegaina o tagata-vs-meafaitino i luga o le masini ma tulei na'o le faitau itula ma fa'ate'a ata. I'uga: sub-200 ms mataala i le pito o le fata ma ~ 90% pa'u i luga o feso'ota'iga-e aunoa ma le suia o konekarate WAN faleoloa. (Metotia: fa'ai'uga fa'apitonu'u, fa'aputuga o mea na tutupu, na'o fa'aletonu.)

Edge AI vs cloud AI - o le eseesega vave 🥊

  • Le mea e tupu ai le fa'atusatusaga: pito = i luga ole masini/latalata ile masini; ao = nofoaga autu o faamatalaga mamao.

  • Fa'atuai: pito ≈ taimi moni; e iai malaga fa'ata'amilosaga a le ao.

  • Fa'agaioiga fa'amaumauga: fa'amama fa'apito/fa'a'omi muamua; e fiafia le ao i luga o le faʻamaoni atoatoa.

  • Fa'atuatuaina: e fa'aauau pea ona tamo'e tuusao; ao mana'omia le feso'ota'iga.

  • Pulea: e lagolagoina e le pito le fa'aitiitia o fa'amaumauga; ao fa'atotonu le va'aiga. [1]

E le o se tasi-poo. O faiga atamai e fa'afefiloi uma: filifiliga vave i le lotoifale, au'ili'ili loloto ma a'oa'oga va'a i totonu. O le tali fefiloi e le manaia-ma sa'o.

E faʻafefea ona galue Edge AI i lalo ole pulou 🧩

  1. e masini fa'ailoga mata'utia-fa'avaa leo, pika meapueata, paipa IMU, fa'ailoga vibration.

  2. O le mua'i fa'agaoioiga e toe fa'atusa ai na fa'ailoga i foliga fa'ata'ita'i.

  3. Taimi fa'ata'ita'iga e fa'atino ai se fa'ata'ita'iga fa'apitoa i luga o le masini e fa'aoga ai fa'avavevave pe a avanoa.

  4. Postprocessing liliu fua i mea tutupu, faʻailoga, poʻo gaioiga faʻatonutonu.

  5. E na'o mea aoga e la'uina i luga e le Telemetry : aotelega, mea e le masani ai, po'o ni fa'amatalaga fa'aopoopo mai lea taimi i lea taimi

O taimi e fa'agaoioi ai i luga o masini e te va'aia i le vao e aofia ai le Google's LiteRT (sa ta'ua muamua o le TensorFlow Lite), ONNX Runtime, ma le Intel's OpenVINO. O nei meafaigaluega e fa'amalosi le gaosiga mai paketi fa'atapula'a o le malosi/manatua fa'atasi ai ma togafiti e pei o le quantization ma le operator fusion. Afai e te fiafia i nati ma polo, e lelei a latou pepa fa'amaumau. [3][4]

O fea e fa'aalia ai - fa'aoga mea moni e mafai ona e fa'asino ile 🧯🚗🏭

  • Va'aiga i le pito: logo logo (tagata vs fagafao), su'ega fata i faleoloa, va'alele va'aia fa'aletonu.

  • Leo i luga o le masini: fafagu upu, fa'atonuga, su'esu'eina le liki i la'au.

  • Industrial IoT: afi ma pamu e mata'ituina mo fa'aletonu o le vibration a'o le'i toilalo.

  • Ta'avale: mata'ituina o le aveta'avale, su'esu'eina o le ala, fesoasoani paka-i lalo-lua po'o le pa'u.

  • Soifua Maloloina: fu'a fu'a e mafai ona ofuina i le lotoifale; sync otootoga mulimuli ane.

  • Telefonipoto: fa'aleleia atili o ata, iloa o vala'au fa'asalalau, taimi "na fa'apefea ona faia e la'u telefoni lena mea pe a leai se initaneti".

Mo faʻamatalaga aloaʻia (ma le "fog vs edge" cousin talk), tagai i le NIST conceptual model. [2]

O meafaigaluega e faʻafefe ai 🔌

O nai fa'avae e su'eina le tele o igoa:

  • NVIDIA Jetson - GPU-fa'aogaina modules mo robots/kamera-Swiss-Army-nafi vibes mo AI fa'apipi'i.

  • Google Edge TPU + LiteRT - fa'ai'uga fa'ato'a lelei ma se taimi fa'agasolo mo galuega fa'atino e matua'i maualalo le malosi. [3]

  • Apple Neural Engine (ANE) - fa'amau i luga ole masini ML mo iPhone, iPad, ma Mac; Ua fa'asalalauina e Apple galuega fa'atino i le fa'aogaina lelei o transformers i le ANE. [5]

  • Intel CPUs/iGPUs/NPUs ma OpenVINO - "tusi tasi, fa'apipi'i i soo se mea" i masini komepiuta a Intel; e pasia le fa'aleleia atili aoga.

  • ONNX Taimi i so'o se mea - ose ta'aloga e le fa'aituau ma fa'apipi'i fa'apolokalame fa'atino i luga o telefoni, PC, ma faitoto'a. [4]

E te mana'omia uma na mea? Pe lava. Filifili se ala malosi se tasi e fetaui ma lau va'a ma pipii i ai-o le fili o 'au fa'apipi'i.

Le fa'aputuga polokalame - ta'amiloga pu'upu'u 🧰

  • Fa'ata'ita'iga fa'amalosi: fa'afuainumera (masani i int8), teuteu, fa'amama.

  • Fa'atelega fa'avavevave: fatu e fa'alogo i lau silikoni.

  • Taimi fa'agasolo: LiteRT, ONNX Taimi Ta'avale, OpenVINO. [3][4]

  • Fa'apipi'i afifi: atigi pusa/app bundles; o nisi taimi microservices i faitotoa.

  • MLOps mo le pito: OTA faʻafouga faʻataʻitaʻiga, A/B rollout, telemetry matasele.

  • Puleaina o le le faalauaiteleina ma le saogalemu: fa'ailoga i luga o le masini, fa'agaoioia saogalemu, fa'amaoniga, fa'alavelave fa'afuase'i.

Iti-case: o le au su'esu'e drone na fa'amama se masini su'esu'e mamafa i totonu o se fa'ata'ita'iga fa'ata'ita'i a tamaiti a'oga mo le LiteRT, ona fa'afefiloi lea o le NMS i luga o le masini. Ua fa'aleleia le taimi o le va'alele ~ 15% fa'afetai i le fa'aitiitiga o fa'asologa o fa'asologa; fa'apipi'i le leo fa'aitiiti i fa'avaa fa'apitoa. (Metotia: pu'eina o fa'amaumauga i luga o le saite, fa'avasegaina pe a uma le aofa'i, fa'ata-ata A/B a'o le'i fa'agasolo atoa.)

Laulau fa'atusatusa - lauiloa Edge AI filifiliga 🧪

Tala moni: o lenei laulau e fa'aituau ma fai sina fa'aletonu-pei o le lalolagi moni.

Meafaigaluega / Tulaga Le aofia sili ona lelei Malae ta'alo tau Aisea e galue ai i le pito
LiteRT (ex-TFLite) Android, fai, fa'apipi'i $ i le $$ Taimi fa'agasolo, fa'amaumauga malosi, fe'avea'i-muamua galuega. E galue tuusao lelei. [3]
Taimi Fa'atino o le ONNX 'au fa'alavalava $ Fa'aliga fa'aletonu, mea fa'apipi'i fa'apipi'i tua-faauo i le lumana'i. [4]
TatalaVINO Intel-centric deployments $ Tasi meafaigaluega, tele Intel faʻamoemoe; pasi fa'alelei lelei.
NVIDIA Jetson Robotics, va'ai mamafa $$ i le $$$ GPU fa'avavevave i totonu o se pusa meaai; fa'anatura lautele.
Apple ANE iOS/iPadOS/macOS apps tau o masini Tu'ufa'atasi HW/SW; fa'amaumauga lelei ANE transformer galuega. [5]
Edge TPU + LiteRT Poloketi ultra-maualalo-malosi $ Fa'ai'uga lelei int8 i le pito; laiti ae mafai. [3]

E fa'afefea ona filifili se ala Edge AI - o se la'au filifiliga la'ititi 🌳

  • Faigata taimi moni lou olaga? Amata i mea fa'avave + fa'atusa fa'atusa.

  • Tele ituaiga masini? Fa'afiafia le ONNX Runtime po'o le OpenVINO mo le feavea'i. [4]

  • La'uina o se telefoni feavea'i? O le LiteRT o le ala e sili ona itiiti le tetee. [3]

  • Robotics po'o auiliiliga o meapueata? E sefe ai le taimi e galuega fa'aoga-GPU a Jetson.

  • Sa'o le tu'u fa'alilolilo? Taofi fa'amatalaga fa'apitonu'u, fa'ailoga i le malologa, fa'aputu fa'amaumauga e le o fa'avaa mata.

  • Laiti au? Aloese mai so'o se mea faigaluega-e manaia le manaia.

  • O faʻataʻitaʻiga o le a suia soo? Fuafua le OTA ma le telemetry mai le aso muamua.

Tulaga lamatia, tapula'a, ma mea e le manaia-ae-taua 🧯

  • Fa'ata'ita'i fa'ata'ita'iga - suiga si'osi'omaga; mata'itu tufatufaga, fa'agasolo ata lafoia, toe a'oa'o i lea taimi ma lea taimi.

  • Fa'atatau fa'alo - fa'amalo le manatua/malosi fa'ata'ita'iga laiti po'o le sa'o sa'o.

  • Saogalemu - fa'apea le avanoa fa'aletino; fa'aoga se'a fa'amautu, fa'ailoga saini, fa'amaoniga, auaunaga e le fa'atauaina.

  • Pulea o fa'amaumauga - fesoasoani fa'alotoifale, ae e mana'omia pea le fa'atagaga, fa'atumauina, ma le telemetry lautele.

  • Fua'iga - o masini e alu tuusao i taimi sili ona leaga; mamanu fa'afouga tuai ma toe fa'auluina.

  • Taleni fa'afefiloi - fa'apipi'i + ML + DevOps o se auva'a motley; kolosi nofoaafi vave.

Ose fa'afanua fa'atino e lafo ai se mea aoga 🗺️

  1. Filifili se fa'aoga fa'aoga fa'atasi ma le su'esu'eina o le tau fa'aletonu i luga ole Laina 3, fafagu upu ile failauga atamai, ma isi.

  2. Aoina se fa'amaumauga tu'ufa'atasi e fa'atusa le si'osi'omaga fa'atatau; tui le pisa e fetaui ma le mea moni.

  3. Fa'ata'ita'iga i luga o se pusa fa'ata'ita'i latalata i mea faigaluega gaosi.

  4. Fa'amau le fa'ata'ita'iga i le fa'avasegaina/tete; fua sa'o gau ma le faamaoni. [3]

  5. Afi le fa'ai'uga ile API mama fa'atasi ma fa'amaufa'ailoga ma leoleo-ona o masini e tautau ile 2 i le taeao

  6. Fuafua le telemetry e faʻaaloalo i le le faalauaiteleina: lafo numera, histograms, faʻailoga faʻapipiʻi.

  7. Fa'amalo saogalemu: fa'amau saini, fa'amau fa'amau, fa'alaiti auaunaga tatala.

  8. Fuafua OTA: ta'avale fa'atete'e, ta'avale, toe fa'afo'i vave.

  9. Faata'ita'i muamua se mataupu faigata i se tulimanu - afai e ola iina, o le a ola i soo se mea.

  10. Fa'atatau i se tusi ta'iala: pe fa'apefea ona e fa'aopoopoina fa'ata'ita'iga, fa'ata'amilo ki, teuina fa'amaumauga-ina ia 'aua ne'i vevesi le galuega faatino #2.

Fesili e Masani Ona Fesiligia - tali pupuu i le O le ā le mea e uiga i le Edge AI curiosities ❓

Pe na'o se tama'i fa'ata'ita'iga ea o lo'o fa'agaoioia e le Edge AI i luga o se komepiuta la'ititi?
O le tele lava, ioe - ae e le o le tele le tala atoa. E fa'atatau fo'i i paketi fa'atapula'aina, folafolaga fa'alilolilo, ma le fa'atulagaina o le tele o masini e fa'atino i le lotoifale ae a'oa'oina i le lalolagi atoa. [1]

E mafai fo'i ona ou faia a'oa'oga i le tulaga faigata?
E iai a'oa'oga mama/fa'apitoa i luga o masini; o a'oa'oga mamafa e fa'atinoina pea i le ogatotonu. O le ONNX Runtime e fa'amaumauina ai filifiliga mo a'oa'oga i luga o masini pe afai e te fiafia i mea fou. [4]

O le a le Edge AI vs fog computing?
O le puao ma le pito o tausoga. E fa'alatalata fa'alatalata atu fa'amaumauga i fa'amatalaga, o nisi taimi e ala atu i faitoto'a lata ane. Mo fa'amatalaga aloa'ia ma fa'amatalaga, va'ai NIST. [2]

E fa'aleleia ea e le Edge AI le le faalauaiteleina o faamatalaga patino?
E fesoasoani - ae e le o se togafiti. E te mana'omia pea le fa'aitiitia, fa'amautinoa auala fa'afouga, ma le fa'amaumauina ma le fa'aeteete. Ia taulima le le faalauaiteleina o faamatalaga patino o se masani, ae le o se pusa siaki.

Maulu loloto atonu e te faitau moni lava 📚

1) Fa'ata'ita'iga fa'ata'ita'iga e le fa'aleagaina ai le sa'o

E mafai e le fa'avasegaina ona fa'aitiitia le manatua ma fa'avavevave galuega, ae fa'avasega fa'atasi ma fa'amatalaga fa'atusa po'o le fa'ata'ita'iga e mafai ona fa'afoliga squirrels i mea o lo'o i ai fa'aputuga ta'avale. Distillation-faiaoga e taʻitaʻia se tamaititi laʻititi-e masani ona faʻasaoina semantics. [3]

2) Taimi fa'ata'ita'iga pito ile fa'atinoga

O le fa'aliliuupu a le LiteRT o se fa'alavelave fa'afuase'i-fa'aitiitia le manatua i le taimi fa'agaoioiga. ONNX Runtime e faʻapipiʻi i faʻavavevave eseese e ala i le tuʻuina atu o faʻatinoga. E lē o se pulufana siliva; e lua o samala malo. [3][4]

3) Malosi i le vao

Avela, pefu, malosi pa'epa'e, slapdash Wi-Fi: fausia ni ta'ifau e toe amata laina paipa, fa'ai'uga fa'aoga, ma toe fa'alelei pe a toe fo'i le feso'otaiga. E itiiti le manaia nai lo le gauai atu-sili atu ona taua.

O le fuaitau e te toe ta'ua i fonotaga - O le ā le Edge AI 🗣️

Edge AI e fa'alatalata atu le atamai i fa'amaumauga e fa'afetaui ai fa'alavelave fa'atino o le taofiofia, fa'alilolilo, bandwidth, ma le fa'amaoni. O le togafiti fa'ataulāitu e le'o se va'a po'o se fa'avae-e na o le filifilia ma le poto po'o fea e fa'atatauina.

Saunoaga Fa'ai'u - Ua Umi, Ou te Le'i Faitauina 🧵

E fa'agaoioia e le Edge AI ni fa'ata'ita'iga e lata ane i fa'amaumauga ina ia lagona ai le vave, le patino, ma le malosi o oloa. O le a e fa'afefiloi ai le fa'ai'uga fa'alotoifale ma le va'ava'aiga ao mo le sili ona lelei o lalolagi uma e lua. Filifili se taimi e fa'agaoioia ai e fetaui ma au masini, fa'alagolago i mea fa'atelevave pe a mafai, tausi ia mama fa'ata'ita'iga ma le fa'apipi'iina, ma mamanuina galuega a le va'a e pei ona fa'alagolago i ai lau galuega - aua, ia, atonu e ono tupu. Afai e fesili se tasi po'o le a le Edge AI, fai mai: fa'ai'uga atamai, faia i le lotoifale, i le taimi atofaina. Ona ataata lea ma sui le mataupu i maa. 🔋🙂

Fa'asinomaga

  1. IBM - O le a le Edge AI? (uiga, manuia).
    https://www.ibm.com/think/topics/edge-ai

  2. NIST - SP 500-325: Fog Computing Conceptual Model (malaga masani mo le puao/pito).
    https://csrc.nist.gov/pubs/sp/500/325/final

  3. Google AI Edge - LiteRT (muamua TensorFlow Lite) (taimi fa'agasolo, fa'atusatusaga, femalagaiga).
    https://ai.google.dev/edge/litert

  4. ONNX Taimi Taimi - A'oa'oga I luga ole Masini (taimi feavea'i + a'oa'oga i luga o masini mata).
    https://onnxruntime.ai/docs/get-started/training-on-device.html

  5. Su'esu'ega A'oa'oga o Masini a Apple - Fa'aaogā Transformers ile Apple Neural Engine (ANE fa'amatalaga lelei).
    https://machinelearning.apple.com/research/neural-engine-transformers

Saili le AI Fou i le Faleoloa Aloaia o Fesoasoani AI

Faatatau ia tatou

Toe foʻi i le blog