Auala e Fa'atino ai Fa'ata'ita'iga AI

Auala e Fa'atino ai Fa'ata'ita'iga AI

Tali puupuu: O le faʻaaogaina o se faʻataʻitaʻiga AI o lona uiga o le filifilia o se mamanu tautua (taimi moni, vaega, faʻasalalau, poʻo le pito), ona faia lea o le auala atoa e mafai ona toe gaosia, matauina, saogalemu, ma toe faʻafoʻisia. A e faʻatulagaina mea uma ma faʻatusatusa le p95/p99 latency i luga o uta e pei o le gaosiga, e te aloese mai le tele o faʻaletonu "galuega i laʻu komepiuta feaveaʻi".

Manatu autū:

Fa'ata'ita'iga o le fa'atinoina: Filifili le taimi moni, vaega tele, fa'asalalau, po'o le pito a'o le'i fa'aogaina meafaigaluega.

Toe gaosia: Fa'aliliuga o le fa'ata'ita'iga, foliga, tulafono fa'akomepiuta, ma le siosiomaga e puipuia ai le fe'avea'i.

Mata'ituina: Fa'aauau pea ona mata'ituina tulaga o le latency, mea sese, saturation, ma fa'amaumauga po'o tufatufaga o oloa.

Fa'ata'amilosaga saogalemu: Faaaoga le canary, blue-green, po'o le shadow testing fa'atasi ai ma tapula'a otometi e toe fa'afo'i ai.

Saogalemu ma le le faalauaiteleina: Faaaoga le faamaoniga, tapulaa fua faatatau, ma le puleaina o mea lilo, ma faʻaitiitia le PII i ogalaau.

Fa'apefea ona Fa'atino Fa'ata'ita'iga AI? Fa'amatalaga Fa'apitoa

O tala e te ono fia faitauina pe a uma lenei: 

🔗 Auala e fuaina ai le faatinoga o AI
Aoao fua fa'atatau, fa'atusatusaga, ma siaki moni o le lalolagi mo ni taunuuga fa'atuatuaina o le AI.

🔗 Auala e fa'aautomatika ai galuega fa'atasi ai ma le AI
Liliu galuega faifai pea i ni faiga faigaluega e fa'aaoga ai fa'atonuga, meafaigaluega, ma feso'ota'iga.

🔗 Auala e fa'ata'ita'i ai fa'ata'ita'iga AI
Fuafuaina o iloiloga, seti o fa'amaumauga, ma togi e fa'atusatusa ai fa'ata'ita'iga ma le le fa'aitu'au.

🔗 Faʻafefea ona talanoa ma AI
Fai ni fesili e sili atu ona lelei, fa'atulaga le anotusi, ma maua vave ni tali manino.

1) O le uiga moni o le "fa'atulagaina" (ma le mafua'aga e le na'o se API) 🧩

A fai mai tagata "fa'atino le fa'ata'ita'iga," atonu o lona uiga o so'o se tasi o nei mea:

O lea la, o le faʻatinoina e itiiti ifo le "faʻafaigofieina o le faʻataʻitaʻiga" ma e sili atu ona pei o:

E pei lava o le tatalaina o se faleaiga. E taua tele le kukaina o se mea'ai manaia, ioe. Ae e te mana'omia pea le fale, le aufaigaluega, le pusaaisa, lisi o mea'ai, le sapalai o mea'ai, ma se auala e taulima ai le pisi o le 'aiga o le afiafi e aunoa ma le tagi i totonu o le pusaaisa e savali atu i ai. E le o se fa'atusa atoatoa… ae ua e malamalama i ai. 🍝

2) O le ā le mea e avea ai ma se lomiga lelei o le “Auala e Faʻatino ai Faʻataʻitaʻiga AI” ✅

O se "fa'atulagaga lelei" e le fiafia i le auala sili. E masani ona gaoioi i lalo o le mamafa, ma a leai, e mafai ona e vave iloa.

O le uiga masani lea o le "lelei":

  • Fausiaina e mafai ona toe gaosia
    Tutusa le tulafono + tutusa fa'alagolago = tutusa amioga. Leai ni lagona mata'utia "galue i la'u komepiuta feavea'i" 👻 (Docker: O le a le koneteina?)

  • Konekarate manino o le atina'e
    Ua fa'amatalaina mea e ulufale mai ai, mea e alu i ai, fa'ata'ita'iga, ma mataupu o pito. Leai ni ituaiga e ofo ai i le 2am. (OpenAPI: O le a le OpenAPI?,JSON Schema)

  • Fa'atinoga e fetaui ma le mea moni.
    O le latency ma le throughput e fuaina i masini e pei o le gaosiga ma uta e moni.

  • Mata'ituina i nifo
    Fuainumera, ogalaau, fa'ailoga, ma siaki o le fe'avea'i e fa'aosofia ai gaioiga (e le na'o dashboards e leai se tasi e tatalaina). (Tusi SRE: Mata'ituina o Faiga Fa'asalalau)

  • Fuafuaga fa'alauiloa saogalemu
    Canary po'o le lanumoana-lanumeamata, faigofie ona toe fa'afo'i, fa'aliliuga e le mana'omia ai se tatalo. (Canary Release, Blue-Green Deployment)

  • Iloa lelei tau o le
    "Vave" e lelei se'ia foliga mai le pili e pei o se numera telefoni 📞💸

  • Puipuiga ma le le faalauaiteleina ua saunia i
    le Pulega o Mea Lilo, puleaina o avanoa, taulimaina o PII, ma le mafai ona su'esu'eina. (Kubernetes Secrets, NIST SP 800-122)

Afai e mafai ona e faia na mea i taimi uma, ua e muamua atu i le tele o 'au. Ia tatou faamaoni.

3) Filifili le mamanu fa'atulagaina sa'o (a'o le'i filifilia meafaigaluega) 🧠

Fa'ai'uga API i le taimi moni ⚡

E sili pe a:

  • e manaʻomia e tagata faʻaoga ni taunuuga vave (fautuaga, siakiina o mea taufaasese, talatalanoaga, faʻapitoa)

  • e tatau ona faia faaiuga i le taimi o se talosaga

Lapataiga:

Sikoa o le vaega 📦

E sili pe a:

  • e mafai ona fa'atuai valo'aga (fa'ailogaina o lamatiaga i le po, valo'aga o le churn, fa'amauoa o le ETL) (Amazon SageMaker Batch Transform)

  • E te manaʻo i le taugofie ma faigofie o galuega

Lapataiga:

  • fou o faʻamaumauga ma toe faʻatumuina

  • tausia o le fa'atulagaga o foliga e ogatasi ma a'oa'oga

Fa'amatalaga o le tafe 🌊

E sili pe a:

  • e te faʻagasolo pea mea tutupu (IoT, clickstreams, monitoring systems)

  • e te manaʻo i ni faʻaiʻuga e toetoe lava o le taimi moni e aunoa ma se tali tuusaʻo mai talosaga

Lapataiga:

Fa'atinoina o le pito 📱

E sili pe a:

  • maualalo le latency e aunoa ma le faʻalagolago i le fesoʻotaʻiga (LiteRT i luga o le masini)

  • tapula'a fa'alilolilo

  • siosiomaga e le o feso'ota'i ma le initaneti

Lapataiga:

Filifili muamua le mamanu, ona filifili lea o le faaputuga. A leai o le a e faamalosia se mamanu faatafafa i totonu o se taimi faataamilo. Pe o se mea faapena. 😬

4) Afifiina o le faʻataʻitaʻiga ina ia sao mai le fesootaʻiga ma le gaosiga 📦🧯

O iinei e mate filemu ai le tele o "fa'aoga faigofie".

Lomiga mea uma (ioe, mea uma)

  • Mea totino fa'ata'ita'i (mamafa, kalafi, tokenizer, fa'afanua o fa'ailoga)

  • Fa'atulagaga o foliga (suiga, fa'atulagaina, fa'ailoga)

  • Fa'ailoga o le fa'ai'uga (a'o le'i/pe a uma ona fa'agasolo)

  • Siosiomaga (Python, CUDA, polokalama faakomepiuta)

O se auala faigofie e aoga:

  • taulimaina le faʻataʻitaʻiga e pei o se mea na faʻasaʻolotoina

  • teu i se pine lomiga

  • manaʻomia se faila metadata e pei o se kata faʻataʻitaʻi: schema, metrics, faʻamatalaga puʻupuʻu o faʻamatalaga aʻoaʻoga, tapulaʻa ua iloa (Kata Faʻataʻitaʻi mo Lipoti Faʻataʻitaʻi)

E fesoasoani koneteina, ae aua le tapuaʻi i ai 🐳

E lelei tele koneteina ona e:

Ae e manaʻomia lava ona e pulea:

Fa'atulaga le fa'aoga

Filifili vave lau faatulagaga o le input/output:

Ma fa'amolemole fa'amaonia mea ua ulufale mai. O mea ua ulufale mai e le aoga o le mafua'aga autu lea o le "aisea ua toe fa'afo'i mai ai ni tiketi e leai se uiga". (OpenAPI: O le a le OpenAPI?,JSON Schema)

5) Filifiliga o le tautua - mai le "API faigofie" i 'au'aunaga fa'ata'ita'iga atoa 🧰

E lua auala masani:

Filifiliga A: 'Au'aunaga polokalama + fa'ailoga o le fa'ai'uga (faiga fa'a-FastAPI) 🧪

E te tusia se API e uta le faʻataʻitaʻiga ma toe faafoi mai ai valoʻaga. (FastAPI)

Lelei:

  • faigofie ona fa'apitoa

  • sili ona lelei mo faʻataʻitaʻiga faigofie poʻo oloa amata

  • fa'amaoniga faigofie, fa'asologa o ala, ma le tu'ufa'atasia

Le lelei:

  • e te lava le fa'aleleia o le fa'atinoga (batching, threading, GPU useability)

  • o le a e toe faia ni uili, atonu e leaga i le taimi muamua

Filifiliga B: 'Au'aunaga fa'ata'ita'i (faiga TorchServe / Triton) 🏎️

'Au'aunaga fa'apitoa e taulimaina:

Lelei:

  • mamanu fa'atinoga sili atu ona lelei mai le amataga

  • vavae'esega sili atu ona mama i le va o le tautua ma le fa'atulagaga fa'apisinisi

Le lelei:

  • faigata fa'aopoopo o le fa'agaioiga

  • e mafai ona lagona le fa'atulagaina ... e faigata, e pei o le fetu'una'iina o le vevela o le ta'ele

E matuā taatele lava se mamanu fa'afefiloi:

6) Siata Fa'atusatusaga - auala lauiloa e fa'atino ai (fa'atasi ai ma lagona fa'amaoni) 📊😌

O loʻo i lalo se faʻamatalaga puʻupuʻu o filifiliga e faʻaaogaina moni e tagata pe a fuafuaina le auala e faʻatino ai faʻataʻitaʻiga AI.

Meafaigaluega / Auala Le aofia Tau Aiseā e aoga ai
Docker + FastAPI (pe fa'apena) 'Au laiti, kamupani fou Sa'oloto Faigofie, fetuutuunai, vave ona lafo - o le ae "lagona" faʻafitauli uma o le faʻateleina (Docker, FastAPI)
Kubernetes (DIY) 'Au fa'avae Fa'alagolago i le infra Pulea + fa'alauteleina ... fa'apea fo'i, le tele o ki, o nisi o ia mea ua malaia (Kubernetes HPA)
Fa'avae ML pulea (au'aunaga ML ao) 'Au e mana'o i ni nai gaioiga Totogi a'o e alu Faiga fa'atino o le fa'atinoina o galuega ua uma ona fausia, matau e mata'ituina ai - o nisi taimi e taugata mo ni fa'ai'uga e fa'aauau pea (fa'atinoina o le Vertex AI, fa'ai'uga moni a le SageMaker)
Galuega e aunoa ma se 'au'aunaga (mo le malamalama i le fa'ai'uga) Polokalama e fa'atatau i mea tutupu Totogi ile fa'aoga Lelei tele mo feoa'iga i luga o le alatele - ae o le amata malulu ma le tele o le fa'ata'ita'iga e mafai ona fa'aleagaina ai lou aso 😬 (AWS Lambda amata malulu)
'Au'aunaga Fa'ai'uga NVIDIA Triton 'Au e taula'i i le fa'atinoga Polokalama e leai se totogi, tau o atina'e Fa'aaogāina lelei o le GPU, fa'aputuga, tele-fa'ata'ita'iga - e mana'omia le onosa'i i le fa'atulagaina (Triton: Dynamic batching)
Auaunaga mo le Sulu 'Au e tele i le PyTorch Polokalama e leai se totogi O mamanu tautua masani lelei - e ono manaʻomia le fetuʻunaʻi mo le tele o fua (pepa o le TorchServe)
BentoML (afifi + tautua) Inisinia ML Autu saoloto, eseese mea faaopoopo Afifiina lamolemole, poto masani lelei a le au atina'e - e te mana'omia pea filifiliga fa'apitoa (afifiina BentoML mo le fa'atinoina)
Ray Serve Tagata fa'aoga faiga tufatufaina Fa'alagolago i le infra Fa'alava fa'alava, lelei mo paipa - e foliga "tele" mo galuega laiti (Ray Serve docs)

Fa'amatalaga i le laulau: O le upu "free-ish" o se faaupuga moni lava. Auā e leai se totogi. E iai lava se pili i se mea, tusa lava pe o lau moe. 😴

7) Fa'atinoga ma le fa'ateleina - latency, throughput, ma le mea moni 🏁

O le fa'aleleia atili o le fa'atinoga o le mea lea e avea ai le fa'atinoina ma se tomai. E le o le "vave" le sini. O le sini ia lava le vave i taimi uma.

Fua fa'atatau taua

O ki masani e toso ai

  • Fa'aputuga
    Fa'atasi talosaga e fa'ateleina ai le fa'aaogaina o le GPU. Lelei mo le gaosiga, e mafai ona fa'aleagaina ai le latency pe afai e te so'ona faia. (Triton: Fa'aputuga fa'a-dynamic)

  • Fa'atusatusaga
    O le sa'o maualalo (e pei o le INT8) e mafai ona fa'avavevaveina ai le fa'ai'uga ma fa'aitiitia ai le manatua. Atonu e fa'aitiitia teisi le sa'o. O nisi taimi e leai, e ofo ai. (Fa'atusatusaga pe a uma a'oa'oga)

  • Tuufaatasiga / fa'aleleia atili
    le auina atu i fafo o le ONNX, fa'aleleia atili o kalafi, tafega e pei o le TensorRT. Malosi, ae e mafai ona faigata le fa'aleleia o mea sese 🌶️ (ONNX, fa'aleleia atili o le fa'ata'ita'iga o le Runtime ONNX)

  • fai
    soo mea e ulufale mai (pe mafai foi ona e teuina mea e teu i totonu o le cache), e mafai ona e sefe tele.

  • otometi
    o le fua i le fa'aaogaina o le CPU/GPU, loloto o le laina, po'o le fua faatatau o talosaga. E le o fa'atauaina lelei le loloto o le laina. (Kubernetes HPA)

O se fautuaga ese ae moni: fua i le tele o uta e pei o le gaosiga. O uta laiti o su'ega e pepelo ia te oe. Latou te ataata ma le faaaloalo ona faalataina lea oe mulimuli ane.

8) Mata'ituina ma le mafai ona matauina - aua le tauaso 👀📈

O le mataituina o faʻataʻitaʻiga e lē naʻo le mataituina o le taimi e galue ai. E te manaʻo e iloa pe:

Mea e mata'ituina (sete maualalo e mafai ona fa'atinoina)

Soifua maloloina o auaunaga

Amioga faʻataʻitaʻi

  • tufatufaina atu o foliga fa'aofi (fuainumera fa'avae)

  • tu'ufa'atasiga masani (mo fa'ata'ita'iga fa'apipi'i)

  • tufatufaga o galuega faatino (talitonuga, fefiloi o vasega, vaega o togi)

  • iloa o mea sese i mea e ulufale mai ai (gabbage in, garbage out)

Fe'avea'iga o fa'amaumauga ma fe'avea'iga o manatu

Fa'amaumau, ae le o le auala "fa'amaumau mea uma e fa'avavau" 🪵

Fa'amaumauga:

Ia fa'aeteete i le le faalauaiteleina o faamatalaga. E te le mana'o e avea au fa'amaumauga ma mea e fa'aleagaina ai au fa'amatalaga. (NIST SP 800-122)

9) CI/CD ma fuafuaga fa'alauiloa - taulimaina fa'ata'ita'iga e pei o ni fa'asalalauga moni 🧱🚦

Afai e te manaʻo i ni faʻatulagaga faʻatuatuaina, fausia se paipa. Tusa lava pe faigofie.

O se tafega mautu

  • Su'ega iunite mo le fa'agasologa muamua ma le fa'agasologa mulimuli

  • Su'ega tu'ufa'atasia ma se "seti auro" ua iloa

  • Fa'avae o le su'ega o le avega (tusa lava pe mama)

  • Fausia se mea faitino (pusa + faʻataʻitaʻiga) (Faiga sili ona lelei o le fausiaina o le Docker)

  • Fa'atino i le fa'atulagaina

  • Fa'asa'olotoina o le Canary i se vaega la'ititi o feoa'iga (Canary Release)

  • Fa'ateleina malie

  • Toe fa'afo'i otometi i tulaga taua (Blue-Green Deployment)

O mamanu fa'alauiloa e fa'asaoina ai lou mafaufau lelei

  • Canary: fa'asa'oloto muamua le feoa'iga i le 1-5% (Canary Release)

  • Lanumoana-lanumeamata: fa'atino le lomiga fou fa'atasi ma le lomiga tuai, fuli i luga pe a sauni (Blue-Green Deployment)

  • Su'ega Ata: auina atu feoa'iga moni i le fa'ata'ita'iga fou ae aua le fa'aaogaina taunuuga (sili mo le iloiloga) (Microsoft: Su'ega Ata)

Ma fa'atulaga au fa'ai'uga po'o le auala e tusa ai ma le fa'ata'ita'iga. O le a e fa'afetai atu ia te oe i le lumana'i. O le a e fa'afetai atu fo'i ia te oe i le taimi nei, ae filemu.

10) Puipuiga, le le faalauaiteleina, ma le “faamolemole aua le faasalalau atu ni mea” 🔐🙃

E masani ona tuai ona taunuu leoleo, e pei o se malo e le'i vala'aulia. E sili atu le vala'aulia vave.

Lisi siaki aogā

  • Fa'amaoniga ma le fa'atagaga (o ai e mafai ona vala'au le fa'ata'ita'iga?)

  • Fa'atapula'aina o le fua faatatau (puipuia mai le fa'aleagaina ma afa fa'afuase'i) (Fa'atapula'aina o le API Gateway)

  • Pulega o mealilo (leai ni ki i le code, leai ni ki i faila fa'atulagaina...) (AWS Secrets Manager, Kubernetes Secrets)

  • Pulega o feso'ota'iga (vaega tumaoti, faiga fa'avae tautua-i-tautua)

  • Fa'amaumauga o su'esu'ega (aemaise lava mo valo'aga ma'ale'ale)

  • Fa'aitiitia o fa'amaumauga (teu na'o mea e tatau ona e teuina) (NIST SP 800-122)

Afai e pa'i atu le fa'ata'ita'iga i fa'amatalaga patino:

  • fa'ailoga fa'asa'o po'o fa'ailoga hash

  • 'alo'ese mai le fa'amaumauina o uta mata (NIST SP 800-122)

  • fa'amatala tulafono o le taofia o meatotino

  • tafega o faʻamaumauga o pepa (le fiafia, ae puipuia)

E le gata i lea, o le fa'aaogāina vave o tui ma le fa'aaogāina o le output e mafai ona a'afia ai fa'ata'ita'iga generative. Fa'aopoopo: (OWASP Top 10 mo Talosaga LLM, OWASP: Tui Fa'aolaola)

  • tulafono o le fa'amamāina o mea e ulufale mai ai

  • fa'amama o le fa'aulufalega pe a talafeagai

  • pa puipui mo le vala'auina o meafaigaluega po'o gaioiga fa'amaumauga

E leai se faiga e atoatoa, ae e mafai ona e fa'aitiitia ai lona vaivai.

11) O mailei masani (e taʻua foʻi o mailei masani) 🪤

O tala masani ia:

Afai o lo'o e faitauina lenei mea ma mafaufau "ioe matou te faia ni mea se lua," susu mai i le kalapu. E iai mea'ai mama i le kalapu, ma ni nai mea e fai ai le atuatuvale. 🍪

12) Aotelega - Auala e Fa'atino ai Fa'ata'ita'iga AI e aunoa ma le leiloa o lou mafaufau 😄✅

O le fa'atinoina o le fa'aaogaina lea o le AI e avea ai ma se oloa moni. E le o se mea matagofie, ae o le mea lea e maua ai le fa'atuatuaga.

Aotelega vave

Ioe, o le Fa'aogaina o Fa'ata'ita'iga Fa'a-AI e mafai ona pei o le taufetuli o polo polo afi i le taimi muamua. Ae a mautu lau paipa, e matua'i fa'amalieina lava. E pei o le fa'atulagaina o se pusa fa'apipi'i ua tumu... na'o le pusa o lo'o i ai feoa'iga o gaosiga.

Fa'ata'ita'iga moni: Fa'atinoina o se fa'ata'ita'iga o le triage o pepa lagolago

Tulaga

Se'i mafaufau i se kamupani SaaS e fa'afagogo ae moni e 12 sui lagolago ma pe tusa ma le 900 pepa ulufale a tagata fa'atau i le vaiaso. E mana'o le 'au i se fa'ata'ita'iga AI e fa'avasega ai pepa ulufale e tusa ai ma le vaega, fa'anatinati, ma le auala e fautuaina a'o le'i tali atu se sui tagata.

E lē o se bot lagolago otometi atoatoa lenei. E lē auina atu e le faʻataʻitaʻiga ni tali i tagata faʻatau. E naʻo le fesoasoani e faʻatautaia vave pepa ulufale, faʻailoa mataupu lamatia, ma tuʻuina atu i sui se amataga e sili atu ona mama.

O le mamanu sili ona lelei o le faʻatinoina iinei e masani lava o le faʻaiʻuga o le API i le taimi moni. O tiketi fou taʻitasi e ulufale atu i le helpdesk, e togiina e le tautua AI i totonu o ni nai selau milisekone, ma e teuina e le helpdesk le vaega ua valoia, faamuamua, togi mautinoa, ma le faʻataʻitaʻiga.

O mea e manaʻomia e le fesoasoani

Mea aoga e aofia ai:

mataupu o le tiketi

tino o tiketi

ituaiga fuafuaga a le tagata faʻatau

itulagi o teugatupe

vaega oloa, pe afai ua uma ona iloa

le aofaʻi muamua o tiketi i aso e 30 ua tuanaʻi

Tulafono aoga:

aua lava ne'i teuina ni fe'au mata a tagata fa'atau pe afai o lo'o i ai fa'amatalaga patino

auina atu feeseeseaiga tau pili, taufaamata'u faaletulafono, talosaga mo le tapeina o teugatupe, ma mataupu tau saogalemu i le iloiloga a tagata

na'o le auto-route pe a sili atu le mautinoa i se tulaga fa'atulagaina, e pei o le 0.85

teu le faʻataʻitaʻiga faʻatasi ai ma valoʻaga uma

toe foʻi i le faʻavasegaina o le masini pe afai e gesegese pe le maua le tautua faʻataʻitaʻiga

Fa'atonuga fa'ata'ita'i

O oe o se fesoasoani lagolago i le fa'avasegaina o tiketi. Vaevae tiketi ta'itasi i le tasi vaega: Pili, Ulufale, Lipoti o Mea Sese, Talosaga mo Vaega, Fa'aleaogaina o le Akauni, Puipuiga, po'o Isi.

Toe faafoi mai le vaega, tulaga faanatinati, togi mautinoa, mafuaaga puupuu, ma le laina lagolago fautuaina.

Aua le fatuina ni mea moni ua misi. Afai o loʻo aofia i le pepa faʻamaonia tulafono, puipuiga, le manuia o totogi, le tapeina o teugatupe, poʻo se gagana ita a le tagata faʻatau, faʻailoga mo le iloiloga a tagata.

Afai e i lalo ifo o le 0.85 le mautinoa, toe faafoi mai le “Manual Review” e fai ma fa'asologa fautuaina.

Fa'ata'ita'iga o le fa'ai'uga

Vaivai le gaosiga:

Vaega:
Fa'amuamua o Mea Sese: Maualuga
Auina atu i le lagolago.

Fa'aleleia atili o le gaosiga:

Vaega:
Ulufale Faanatinati: Feololo
Mautinoa: 0.91
Faasologa fautuaina: Avanoa i le Teugatupe
Mafuaaga: E le mafai e le tagata faatau ona ulufale i lana teugatupe pe a uma ona toe setiina lana upu faataga. E leai se faamata’u i le saogalemu po o se mataupu tau totogi o ta’ua.
Manaomia se iloiloga faaletagata: Leai
Faata’ita’iga lomiga: ticket-triage-v1.3

E faigofie ona su'esu'eina le fa'ai'uga lelei auā e aofia ai le togi o le mautinoa, le fa'ai'uga o le auala, le mafua'aga, ma le fa'ata'ita'iga.

Auala e fa'ata'ita'i ai

A'o le'i lafoina atu fa'asalalauga tu'usa'o i le fa'ata'ita'iga, faia se tama'i "seti auro" o tiketi moni ae e le o iloa le tagata.

O se seti faigofie o suega e mafai ona aofia ai:

50 tiketi pili

50 tiketi ulufale

50 lipoti o mea sese

30 talosaga mo le faaleaogaina

20 tiketi e mata'utia le saogalemu

20 tiketi fenumiai pe fefiloi vaega

Ona siaki lea:

E filifilia e le faʻataʻitaʻiga le vaega lava e tasi e pei o se tagata suʻesuʻe?

Pe ua fa'ateleina sa'o ea pepa fa'amaonia mo le saogalemu, tulafono, ma pepa fa'amaonia mo le fa'aleaogaina?

E toe faafoi mai ea le "Iloiloga Fa'a-Tusitusiga" pe a maualalo le mautinoa?

E tumau ea le latency p95 i lalo ifo o le sini a le 'au?

E saogalemu ea le faaletonu o le tautua pe a le avanoa le faataitaiga?

Mo le fa'alauiloaina, fa'aaoga muamua le shadow testing. Auina atu tiketi moni i le fa'ata'ita'iga fou, ae aua le fa'aaogaina ana valo'aga i le taimi nei. Fa'atusatusa lana galuega i le triage masani a tagata mo ni nai aso. Afai e mautu taunu'uga, agai i le 5% o le fa'asa'olotoina o le canary, ona 25% lea, ona 100% lea.

I'uga

O se fa'ata'ita'iga o le taunu'uga, e fa'avae i luga o le taimi e 100 fa'ata'ita'iga o tiketi a'o le'i fa'aogaina ma ina ua mae'a ona fa'aogaina le faiga o galuega:

ua pa'ū le taimi e fa'avasega ai tagata mama'i mai le 6 minute i le tiketi ta'itasi i le 1 minute 40 sekone i le tiketi ta'itasi

na sefe e le 'au pe tusa ma le 7.2 itula i luga o tiketi e 100

o le maliliega o le vasega ma se tagata su'esu'e e 87% i luga o le seti auro e 220-tiketi

E 100% o pepa ulufale e 20 e taua i le saogalemu na tuuina atu i le iloiloga a tagata

O le latency o le p95 e 480 ms i luga o uta e pei o le gaosiga

O le latency o le p99 e 910 ms

e itiiti ifo i le 2 minute le taimi e toe fa'afo'i ai ona o le tulaga tuai o le fa'ata'ita'iga na tumau pea i le taimi na fa'alauiloa ai le canary

O nei fuainumera e lē o ni faʻailoga lautele. O ni faʻataʻitaʻiga ia o fuataga e mafai e se 'au ona toe gaosia e ala i le faʻatulagaina o galuega faʻavasega, faʻatusatusa o valoʻaga i se seti suʻega ua faʻailogaina, ma le suʻeina o le uta o le iʻuga ma uta tiketi moni.

O a mea e ono sese

O le lamatiaga tele o le soona faʻatuatuaina lea o le faʻataʻitaʻiga. O se tiketi ua faʻailogaina "low urgency" e mafai lava ona aofia ai se faʻafitauli matuia i le saogalemu, aemaise lava pe a le manino le tusitusi a le tagata faʻatau.

Isi mea sese masani:

fa'aaogaina o pepa fa'ata'ita'i ua fa'aleleiina e le tutusa ma pepa fa'ata'ita'i moni a tagata fa'atau

fa'amaumau savali atoa a tagata fa'atau i fa'amatalaga patino

le teuina o le faʻataʻitaʻiga faʻatasi ai ma valoʻaga taʻitasi

fa'asolo otometi o tiketi uma, tusa lava pe maualalo le mautinoa

galo se fa'asologa fa'afo'i lima

fuaina o le averesi o le latency ae le amana'ia le p95 ma le p99

tu'u pea vaega tuai i le fa'ata'ita'iga pe a uma ona suia e le 'au lagolago ana fa'asologa

Mea'ai aogā e 'ai fua

E lē tau amata se fa'atinoina lelei o le AI i se tulaga tele. Amata i se faiga fa'atino e tasi e vaapiapi, se fa'aoga manino e tasi, se seti fa'ata'ita'iga auro e tasi, ma se auala saogalemu e toe fa'afo'i ai. Afai e sefe le taimi e le fa'ata'ita'iga e aunoa ma le natia o lamatiaga, e tatau ona fa'ateleina lau fa'atinoina.

Fesili e Masani Ona Fesiligia

O le uiga o le faʻaaogaina o se faʻataʻitaʻiga AI i le gaosiga

O le faʻatinoina o se faʻataʻitaʻiga AI e masani ona aofia ai le tele o mea e sili atu nai lo le na o le faʻaalia o se API o valoʻaga. I le faʻatinoina, e aofia ai le afifiina o le faʻataʻitaʻiga ma ona faʻalagolago, filifilia o se mamanu tautua (taimi moni, vaega, tafe, poʻo le pito), faʻateleina ma le faʻatuatuaina, mataʻituina o le soifua maloloina ma le feʻaveaʻi, ma le faʻatulagaina o auala saogalemu o le faʻalauiloaina ma le toe faʻafoʻi. O se faʻalauiloaina malosi e tumau pea le mautu i lalo o le avega ma e mafai ona iloa pe a tupu se mea sese.

Auala e filifili ai i le va o le taimi moni, vaega, tafe, poʻo le faʻatulagaina o le pito

Filifili le mamanu o le fa'atinoina e fa'atatau i le taimi e mana'omia ai valo'aga ma tapula'a e te fa'agaoioia ai. E fetaui lelei API i le taimi moni ma aafiaga fegalegaleai lea e taua ai le latency. E sili ona lelei le fa'atulagaina o le vaega pe a taliaina fa'atuai ma e sili atu le lelei o tau. E fetaui lelei le tafe mai o fa'amatalaga i le fa'agasologa o mea tutupu faifai pea, aemaise lava pe a faigata le fa'atinoina o le tu'uina atu. E fetaui lelei le fa'atinoina o le pito mo le fa'agaioiga e aunoa ma le initaneti, le le faalauaiteleina, po'o mana'oga e matua maualalo le latency, e ui lava ina faigata ona pulea fa'afouga ma le fesuia'iga o masini.

O le a le lomiga e tatau ona faia e ʻalofia ai le faaletonu o le faʻatinoina o le "galue i laʻu komepiuta feaveaʻi"

E sili atu le lomiga nai lo na o le mamafa o le faʻataʻitaʻiga. E masani lava, e te manaʻo i se faʻataʻitaʻiga ua uma ona faʻatulagaina (e aofia ai tokenizers poʻo faʻafanua faʻailoga), faʻagasologa muamua ma le faʻatulagaga o foliga, faʻailoga o le faʻaiʻuga, ma le siosiomaga atoa o le taimi e faʻagaoioia ai (faletusi o Python/CUDA/system). Taulima le faʻataʻitaʻiga o se faʻataʻitaʻiga faʻalauiloa ma faʻailoga faʻailoga ma metadata mama e faʻamatalaina ai faʻamoemoega o le schema, faʻamatalaga iloiloga, ma tapulaʻa ua iloa.

Pe fa'apipi'i i se tautua faigofie fa'a-FastAPI pe o se 'au'aunaga fa'ata'ita'i tu'uto'atasi

O se 'au'aunaga faigofie o polokalama (o se faiga fa'a-FastAPI) e aoga lelei mo oloa muamua po'o fa'ata'ita'iga faigofie aua e te pulea pea le fa'aogaina o le routing, auth, ma le tu'ufa'atasia. O se 'au'aunaga fa'ata'ita'i (TorchServe po'o le NVIDIA Triton-style) e mafai ona tu'uina atu le malosi o le batching, concurrency, ma le lelei o le GPU mai le pusa. E tele 'au e fa'aaogaina se hybrid: o se 'au'aunaga fa'ata'ita'i mo le fa'ai'uga fa'atasi ai ma se vaega manifinifi o le API mo le auth, fa'atulagaina o talosaga, ma tapula'a o le fua faatatau.

Auala e fa'aleleia ai le latency ma le throughput e aunoa ma le fa'aleagaina o le sa'o

Amata i le fuaina o le p95/p99 latency i luga o masini e pei o le gaosiga ma ni uta moni, aua o suega laiti e mafai ona faaseseina. O mea masani e aofia ai le batching (throughput sili atu, latency e ono sili atu ona leaga), quantization (laʻititi ma vave, o nisi taimi e iai ni fefaʻatauaʻiga saʻo), compilation ma optimization flows (ONNX/TensorRT-like), ma le caching o mea e faʻaofi soo pe faʻapipiʻi. O le autoscaling e faʻavae i luga o le loloto o le queue e mafai foi ona taofia ai le tail latency mai le totolo i luga.

O le a le mata'ituina e mana'omia e sili atu nai lo le "ua i luga le endpoint"

E le lava le taimi e fa'agaoioia ai, auā e mafai ona foliga lelei se tautua ae fa'aitiitia le lelei o valo'aga. I le itiiti ifo, mata'ituina le tele o talosaga, fua fa'atatau o mea sese, ma le tufatufaina o le latency, fa'atasi ai ma fa'ailoilo saturation e pei o le CPU/GPU/memory ma le taimi o le queue. Mo amioga o le fa'ata'ita'iga, siaki le tufatufaina o mea e ulufale mai ma mea e alu i fafo fa'atasi ai ma fa'ailoilo masani o mea e le masani ai. Fa'aopoopo siaki o le drift e fa'aosofia ai gaioiga nai lo fa'ailoilo pisapisao, ma fa'amaumau ID talosaga, fa'ata'ita'iga, ma taunu'uga o le fa'amaoniaina o le schema.

Auala e fa'alauiloa ai fa'ata'ita'iga fou ma le saogalemu ma toe fa'aleleia vave

Ia taulimaina faʻataʻitaʻiga e pei o ni faʻasalalauga atoa, faʻatasi ai ma se paipa CI/CD e faʻataʻitaʻi ai le faʻagasologa muamua ma le faʻagasologa mulimuli, faʻatautaia siaki tuʻufaʻatasiga e faʻasaga i se "seti auro," ma faʻatuina se laina faʻavae o le uta. Mo faʻasalalauga, e faʻasaʻoloto malie e le canary le feoaʻiga o le ala, aʻo faʻaolaola pea e le lanumoana-lanumeamata se lomiga tuai mo se toe faʻafoʻi vave. E fesoasoani le suʻega o le ata e iloilo ai se faʻataʻitaʻiga fou i feoaʻiga moni e aunoa ma le aʻafia ai o tagata faʻaoga. E tatau ona avea le toe faʻafoʻi ma se auala sili ona lelei, ae le o se mea e mafaufau i ai mulimuli ane.

O fa'aletonu masani pe a a'oa'oina le fa'aogaina o fa'ata'ita'iga AI

O le fa'aletonu o le tautua a'oa'oga o le tulaga masani lea: e eseese le fa'agasologa muamua i le va o a'oa'oga ma le gaosiga, ma e fa'aitiitia filemu le fa'atinoga. O le isi fa'afitauli masani o le leai o se fa'amaoniga o le schema, lea e fa'aleagaina ai e se suiga i luga o le fa'aulufalega mea e ulufale mai i ni auala e le'i mafaufauina. E le o fa'atauva'aina fo'i e 'au le fa'atuai o le fa'agasologa ma soona taula'i atu i averesi, e le amana'iaina le tau (e vave ona fa'aopoopoina GPU e le fa'aaogaina), ma misia le fuafuaina o le toe fa'afo'i. E matua lamatia lava le mata'ituina o le taimi e fa'agaoioia ai, aua o le "i luga ae sese" e mafai ona sili atu le leaga nai lo le pa'ū.

Fa'asinomaga

  1. Auaunaga Upega Tafa'ilagi a le Amazon (AWS) - Amazon SageMaker: Fa'ai'uga i le taimi moni - docs.aws.amazon.com

  2. Auaunaga Upega Tafa'ilagi a le Amazon (AWS) - Suiga Fa'atasi a le Amazon SageMaker - docs.aws.amazon.com

  3. Auaunaga Upega Tafa'ilagi a le Amazon (AWS) - Amazon SageMaker Model Monitor - docs.aws.amazon.com

  4. Auaunaga Upega Tafa'ilagi a le Amazon (AWS) - Fa'atapula'aina o talosaga mo le API Gateway - docs.aws.amazon.com

  5. Amazon Web Services (AWS) - Pule o Mea Lilo a le AWS: Fa'atomuaga - docs.aws.amazon.com

  6. Amazon Web Services (AWS) - Ta'amilosaga o le siosiomaga fa'atino o le AWS Lambda - docs.aws.amazon.com

  7. Google Cloud - Vertex AI: Fa'atulaga se fa'ata'ita'iga i se fa'ai'uga - docs.cloud.google.com

  8. le Google Cloud - Vertex AI Model Monitoring - docs.cloud.google.com

  9. Google Cloud - Vertex AI: Fa'aletonu ma le fe'avea'i o foliga o le mata'ituina - docs.cloud.google.com

  10. Google Cloud Blog - Fa'asologa o Fa'amaumauga: faiga o le fa'asalalauina o fa'amaumauga e tasi pe sili atu i le tasi - cloud.google.com

  11. Google Cloud - Faiga o le tafeina o Fa'amaumauga o le Ao - docs.cloud.google.com

  12. Tusi SRE a Google - Mata'ituina o Faiga Fa'asalalau - sre.google

  13. Su'esu'ega a Google - O le Si'usi'u i le Tele - research.google

  14. LiteRT (Google AI) - Va'aiga LiteRT - ai.google.dev

  15. LiteRT (Google AI) - LiteRT i luga ole masini - ai.google.dev

  16. Docker - O le ā le koneteina? - docs.docker.com

  17. Docker - Faiga sili ona lelei mo le fausiaina o le Docker - docs.docker.com

  18. Kubernetes - Kubernetes Mealilo - kubernetes.io

  19. Kubernetes - Fa'atulagaina Aunoa o le Horizontal Pod - kubernetes.io

  20. Martin Fowler - Canary Release - martinfowler.com

  21. Martin Fowler - Fa'atinoina o le Lanumoana-Lanumeamata - martinfowler.com

  22. Polokalama OpenAPI - O le ā le OpenAPI? - openapis.org

  23. JSON Schema - (o lo'o fa'asino i ai le 'upega tafa'ilagi) - json-schema.org

  24. Protocol Buffers - Aotelega o Protocol Buffers - protobuf.dev

  25. FastAPI - ('upega tafa'ilagi o lo'o fa'asino i ai) - fastapi.tiangolo.com

  26. NVIDIA - Triton: Fa'aputuga Fa'aolaola ma le Fa'atinoina Fa'atasi o le Fa'ata'ita'iga - docs.nvidia.com

  27. NVIDIA - Triton: Fa'atinoina Fa'atasi o le Fa'ata'ita'iga - docs.nvidia.com

  28. NVIDIA - Triton Inference Server pepa fa'amaumau - docs.nvidia.com

  29. PyTorch - pepa fa'amaumau o le TorchServe - docs.pytorch.org

  30. BentoML - Afifiina mo le fa'atinoina - docs.bentoml.com

  31. Ray - Ray Auaunaga pepa aloaia - docs.ray.io

  32. TensorFlow - Fuainumera pe a uma a'oa'oga (TensorFlow Model Optimisation) - tensorflow.org

  33. TensorFlow - Fa'amaoniga o Fa'amaumauga a le TensorFlow: iloa le fa'aletonu o le tautua a'oa'oga - tensorflow.org

  34. ONNX - ('upega tafa'ilagi o lo'o fa'asino i ai) - onnx.ai

  35. ONNX Taimi Taimi - Fa'ata'ita'iga fa'ata'ita'iga - onnxruntime.ai

  36. NIST (Inisetiute Fa'aleatunuu o Tulaga Fa'atonuina ma Tekonolosi) - NIST SP 800-122 - csrc.nist.gov

  37. arXiv - Kata Fa'ata'ita'i mo Lipoti Fa'ata'ita'i - arxiv.org

  38. Microsoft - Su'ega Ata - microsoft.github.io

  39. OWASP - OWASP Top 10 mo Talosaga LLM - owasp.org

  40. Galuega Faatino o le Puipuiga o le OWASP GenAI - OWASP: Fa'aoso vave - genai.owasp.org

Saili le AI Fou i le Faleoloa Aloaia o Fesoasoani AI

Faatatau ia tatou

Toe foʻi i le blog

Fesili Masani Faaopoopo

  • E faʻapefea ona ou iloa po o le fea mamanu o le faʻatinoina e filifilia mo laʻu faʻataʻitaʻiga AI?

    O le filifilia o le mamanu sa'o o le fa'atinoina e fa'alagolago i ou mana'oga patino. Mafaufau i mea e pei o le pe e te mana'omia ni valo'aga i le taimi moni, pe taliaina le fa'agasologa o le tele o fa'amaumauga, pe mana'omia e lau talosaga le fa'asalalauina o fa'amaumauga. O le iloiloina o nei mea o le a ta'ita'ia oe i le filifilia i le va o le fa'atinoina o le taimi moni, tele, fa'asalalauina, po'o le pito.

  • O a metotia e mafai ona ou faʻaaogaina e faʻamautinoa ai le toe gaosia o laʻu faʻaogaina o le faʻataʻitaʻiga AI?

    Ina ia mautinoa le mafai ona toe faia, e taua tele le fa'aliliuina o vaega uma o le fa'atinoina o le fa'ata'ita'iga, e aofia ai le fa'ata'ita'iga o le fa'ata'ita'iga, le uiga o le foliga, le fa'ailoga o le fa'ai'uga, ma le siosiomaga o lo'o fa'agaoioia ai lau fa'ata'ita'iga. O le fa'atulagaina lelei o fa'aliliuga o le a fesoasoani e puipuia ai fa'afitauli e masani ona fa'amatalaina o le 'galue i la'u komepiuta feavea'i'.

  • E fa'apefea ona ou mata'ituina le fa'atinoga o la'u fa'ata'ita'iga AI ua fa'aaogaina?

    O le mata'ituina lelei e aofia ai le siakiina o fua fa'atatau eseese e pei o le aofa'i o talosaga, fua fa'atatau o mea sese, tufatufaina o le latency, ma le fa'aaogaina o punaoa. E taua tele fo'i le mata'ituina o amioga a le fa'ata'ita'iga e ala i le iloiloina o tufatufaga o mea e ulufale mai ma mea e alu i fafo, ma ia mautinoa o lo'o vave iloa so'o se fa'aletonu o fa'amatalaga.

  • O a nisi o faiga sili ona lelei mo le fa'alauiloaina o fa'ata'ita'iga fou?

    Ina ia fa'alauiloa ma le saogalemu fa'ata'ita'iga fou, fa'atino se CI/CD pipeline e aofia ai le fa'ata'ita'iga ma le fa'amaoniaina i la'asaga eseese. O metotia e pei o le fa'alauiloaina o le canary po'o le fa'alauiloaina o le lanumoana-lanumeamata e mafai ai ona e fa'alauiloa malie fa'atasi ni fa'ata'ita'iga fou a'o iai se fuafuaga faigofie e toe fa'afo'i ai pe a tula'i mai ni fa'afitauli.

  • O a ni fa'aletonu masani e tatau ona ou mataala i ai pe a fa'aogaina fa'ata'ita'iga AI?

    Ia fa'aeteete i le fa'aletonu o le tautua a'oa'oga, lea e tula'i mai ai eseesega i le va o a'oa'oga fa'ata'ita'i ma siosiomaga gaosiga. O isi fa'aletonu masani e aofia ai le le amana'iaina o le fa'amaoniga o le schema, le le amana'iaina o le mata'ituina o le tail latency, ma le le fuafuaina o le puleaina o tau. Ia mautinoa i taimi uma ua i ai sau fuafuaga e toe fa'afo'i ai.

  • O le ā le tāua o le saogalemu ma le le faalauaiteleina i le faʻatinoina o le faʻataʻitaʻiga AI?

    O le saogalemu ma le le faalauaiteleina o ni vaega taua ia o le faʻaaogaina o le faʻataʻitaʻiga AI. Faʻatino ni pulega faʻamaonia ma faʻatagaga, faʻatapulaʻaina o fua faatatau, ma le puleaina o mea lilo. Afai e taulimaina e lau faʻataʻitaʻiga faʻamatalaga patino, ia mautinoa o loʻo faʻatinoina faiga faʻaitiitia faʻamatalaga, ma e le o iai i totonu o faʻamaumauga faʻamatalaga taua.

  • E mafai ona ou faʻaaogaina se API faigofie ma se 'auʻaunaga faʻataʻitaʻi tuʻufaʻatasia mo laʻu faʻatulagaga?

    Ioe, e tele 'au e filifili mo se auala fa'afefiloi lea latou te fa'aogaina ai se 'au'aunaga fa'ata'ita'i mo le fa'ai'uga ma se API faigofie mo le taulimaina o le fa'amaoniga, fa'atulagaina o talosaga, ma le fa'atapula'aina o le fua faatatau. O lenei auala e paleni ai le lelei ma le faigofie o le fa'aoga, ma avea ai ma mea talafeagai mo le tele o tulaga fa'atulagaina.