auala e fua ai le faatinoga o AI

E faʻafefea ona fuaina le faʻatinoga o AI?

Afai na e lafoina atu se faʻataʻitaʻiga na matagofie i totonu o se komepiuta feaveaʻi ae na tau le maua i le gaosiga, ua e iloa le mealilo: o le auala e fuaina ai le faʻatinoga o le AI e le o se fua faʻataulāitu. O se faiga o siaki e fesoʻotaʻi ma sini moni o le lalolagi. E manaia le saʻo. E sili atu le faʻatuatuaina, saogalemu, ma le aʻafiaga faʻapisinisi.

O tala e te ono fia faitauina pe a uma lenei:

🔗 Faʻafefea ona talanoa ma AI
Ta'iala mo fesoota'iga lelei ma le AI mo ni taunuuga lelei e masani ona maua.

🔗 O le a le mea e fa'aosofia ai le AI
Fa'amatalaina pe fa'apefea ona fa'atulaga e fa'amatalaga tali a le AI ma le lelei o le fa'atinoga.

🔗 O le a le faʻailogaina o faʻamatalaga AI
Aotelega o le tofiaina o faʻailoga saʻo i faʻamaumauga mo faʻataʻitaʻiga o aʻoaʻoga.

🔗 O le a le amio a le AI
Faatomuaga i mataupu faavae tau amio e taʻitaʻia ai le atinaʻeina ma le faʻaaogaina o le AI e faʻatino ma le faʻaeteete.

O le ā le mea e lelei ai le fa'atinoga o le AI? ✅

Fa'amatalaga pu'upu'u: o le fa'atinoga lelei o le AI o lona uiga e aoga lau polokalama , e fa'atuatuaina, ma e mafai ona toe faia i lalo o tulaga leaga ma fesuisuia'i. O le mea moni:

  • Tulaga lelei o le galuega - e maua ai tali sa'o mo mafua'aga sa'o.

  • Fa'atulagaina - o togi o le mautinoa e ogatusa ma le mea moni, ina ia mafai ai ona e faia se gaioiga atamai.

  • Malosi - e tatalia le fe'avea'i, tulaga o pito, ma le fulufulua fa'asagatau.

  • Saogalemu ma le tonu - e 'alofia ai amioga fa'aleagaina, fa'aitu'au, po'o le le usita'ia o tulafono.

  • Lelei - e vave lava, taugofie lava, ma mautu e fa'agaoioi ai i se lapo'a tele.

  • Aafiaga faapisinisi - e fa'agaoioia ai le KPI e te popole i ai.

Afai e te manaʻo i se faʻasinomaga aloaia mo le faʻatulagaina o fua faʻatatau ma tulaga lamatia, o le NIST AI Risk Management Framework o se fetu mautu i matu mo le iloiloga faʻatuatuaina o le faiga. [1]

 

Fuaina o le Faatinoga o le AI

O le fua maualuga mo le fuaina o le faatinoga o le AI 🍳

Mafaufau i vaega e tolu :

  1. Fua fa'atatau o galuega - sa'o mo le ituaiga o galuega: fa'avasegaga, fa'asolosolo, fa'avasegaga, gaosiga, pulega, ma isi mea fa'apena.

  2. Fua fa'atatau o le polokalama - latency, throughput, tau o vala'au ta'itasi, fua fa'atatau o le fa'aletonu, fa'ailo o le fe'avea'i, SLAs i le taimi e galue ai.

  3. Fua fa'atatau o taunuuga - o taunuuga o pisinisi ma tagata fa'aoga e te mana'o moni i ai: liua, taofia o fa'alavelave, fa'alavelave tau saogalemu, avega o iloiloga fa'atino, aofa'i o tiketi.

O se fuafuaga lelei mo le fuaina e fa'afefiloi uma ia mea e tolu. A leai o le a e maua se roketi e le tuua lava le malae fa'alauiloa.

Fua fa'atatau autū e tusa ai ma le ituaiga o fa'afitauli - ma le taimi e fa'aaoga ai le fea 🎯

1) Fa'avasegaga

  • Sa'o, Toe Manatua, F1 - o le tolu o le aso muamua. O le F1 o le averesi tutusa o le sa'o ma le toe manatua; e aoga pe a le paleni vasega pe le tutusa tau. [2]

  • ROC-AUC - fa'avasegaga o fa'avasegaga e aunoa ma le fa'atapula'aina; pe a seasea ona maua ni fa'amaoniga lelei, siaki fo'i le PR-AUC . [2]

  • Sa'o paleni - averesi o le manatuaina i vasega eseese; aoga mo fa'ailoga fa'api'opi'o. [2]

Mata'ituina o le mailei: o le sa'o lava ia e mafai ona matuā fa'asesēina ma le le paleni. Afai e 99% o tagata fa'aoga e moni, o se fa'ata'ita'iga valea e moni i taimi uma e maua le 99% ma e le manuia ai lau 'au taufaasese a'o le'i 'aiga o le aoauli.

2) Toe fo'i i tua

  • MAE mo mea sese e mafai ona faitauina e tagata; RMSE pe a e manaʻo e faʻasalaina ni mea sese tetele; R² mo le eseesega faʻamatalaina. Ona siaki lea o le sanity-check distributions ma residual plots. [2]
    (Faaaoga iunite e faigofie ona faʻaaogaina le domain ina ia mafai e i latou e aʻafia ona lagona moni le mea sese.)

3) Fa'avasegaga, toe maua mai, fautuaga

  • nDCG - e taua le tulaga ma le fa'avasegaina o le talafeagai; tulaga fa'atonuina mo le lelei o le sailiga.

  • MRR - e taulaʻi i le vave o le aliali mai o le mea muamua e talafeagai (lelei mo galuega "saili se tali lelei e tasi").
    (O faʻamatalaga faʻatino ma faʻataʻitaʻiga na faʻatinoina o loʻo i totonu o faletusi faʻatatau autu.) [2]

4) Fausiaina o tusitusiga ma otootoga

  • BLEU ma ROUGE - fua fa'atatau masani e feso'ota'i; aoga e fai ma fa'avae.

  • O fua fa'atatau e fa'avae i luga o le fa'apipi'iina (e pei o le BERTScore ) e masani ona sili atu ona feso'ota'i ma le fa'amasinoga a tagata; e masani ona fa'apipi'i ma fa'avasegaga a tagata mo le sitaili, fa'amaoni, ma le saogalemu. [4]

5) Taliina o fesili

  • le Exact Match ma le token-level F1 mo le extractive QA; afai e tatau i tali ona ta'ua ni punaoa, ia fua fo'i le fa'avaeina (siaki lagolago tali).

Fa'atulagaina, mautinoa, ma le tioata Brier 🎚️

O togi o le talitonuga o le mea lea e taoto filemu ai le tele o faiga. E te manaʻo i ni avanoa e atagia ai le mea moni ina ia mafai e le au faʻatino ona faʻatulaga ni tapulaʻa, auala e oʻo atu ai i tagata, poʻo ni lamatiaga tau tau.

  • Pi'o fa'atulagaina - va'ai fa'alemafaufau i le ono mafai ona valoia e fa'atusatusa i le tele o taimi e fa'atino ai.

  • Sikoa Brier - o se tulafono fa'atulagaina talafeagai mo le sa'o o le fa'atusatusaga; o le maualalo e sili atu. E aoga tele pe a e popole i le lelei o le fa'atusatusaga, ae le na'o le fa'atulagaina. [3]

Fa'amatalaga i le fanua: o le F1 e "sili atu le leaga" ae sili atu le lelei o le fa'atulagaina e mafai ona atili ai le triage - aua e mafai e tagata ona fa'atuatuaina togi.

Saogalemu, fa'aitu'au, ma le fa'amasinotonu - fua le mea e tāua 🛡️⚖️

E mafai e se faiga ona sa'o i le aotelega ae e ono afaina ai ni vaega patino. Siaki ua fa'avasegaina ma ta'iala talafeagai:

  • Tutusa o tagata - tutusa fua faatatau lelei i vaega eseese.

  • Tutusa avanoa / Tutusa avanoa - tutusa fua faatatau o mea sese poʻo fua faatatau moni-lelei i vaega eseese; faʻaaoga nei mea e iloa ai ma pulea ai fesuiaʻiga, ae le o ni faʻailoga e tasi le pasi-le manuia. [5]

Fautuaga aogā: amata i dashboards e vaevaeina ai fua fa'atatau autū e tusa ai ma uiga autū, ona fa'aopoopo lea o fua fa'atatau fa'apitoa e pei ona mana'omia e au tulafono. E foliga faigata, ae e taugofie atu nai lo se fa'alavelave.

LLM ma le RAG - o se tusi taʻiala mo le fuaina e aoga moni lava 📚🔍

O le fuaina o faiga fa'atuputupu e… fe'avea'i. Fai lenei mea:

  1. Fa'amatala mai taunuuga i fa'aoga ta'itasi: sa'o, fesoasoani, le afaina, tausisi i le sitaili, leo e tusa ai ma le fa'ailoga, fa'avae o upusii, lelei o le teena.

  2. Fa'aotometi iloiloga fa'avae i ni fa'avae malolosi (e pei o meafaigaluega iloiloga i lau fa'aputuga) ma tausi ia fa'asologa fa'atasi ma au fa'amaumauga.

  3. Fa'aopoopo fua fa'atatau o le uiga (fa'avae i le fa'apipi'iina) fa'atasi ai ma fua fa'atatau o le feso'ota'iga (BLEU/ROUGE) mo le fa'amaoni. [4]

  4. Fa'avaeina o meafaigaluega i le RAG: fua faatatau o le a'afiaga o le toe maua mai, sa'o/manatua o le anotusi, feso'ota'iga o tali ma le lagolago.

  5. Iloiloga faaletagata ma le maliliega - fua le tutusa o le tagata fa'amasino (e pei o le Cohen's κ po'o le Fleiss' κ) ina ia 'aua ne'i foliga tutusa au fa'ailoga.

Ponesi: pasene o le latency log ma le tau o le token po'o le compute i galuega ta'itasi. E leai se tasi e fiafia i se tali fa'asolo e taunu'u mai i le Aso Lua a sau.

O le laulau fa'atusatusaga - meafaigaluega e fesoasoani ia te oe e fuaina ai le fa'atinoga o le AI 🛠️📊

(Ioe, e fai si palapalā ma le loto i ai - e palapalā foʻi nota moni.)

Meafaigaluega Le aofia sili ona lelei Tau Aiseā e aogā ai - vave ona fa'atino
fua fa'atatau o le scikit-learn Tagata fa'atino ML Sa'oloto Fa'atinoga masani mo le fa'avasegaga, fa'asologa, fa'avasegaga; faigofie ona fa'apipi'i i su'ega. [2]
Iloiloga o le MLflow / GenAI Saienitisi fa'amaumauga, MLOps E leai se totogi + e leai se totogi Fa'atinoina o galuega fa'atotonugalemu, fua fa'atatau otometi, fa'amasino LLM, togi fa'apitoa; fa'amaumauina mea taua ma le mama.
E manino lava 'Au e mana'o vave i dashboards OSS + ao E silia ma le 100 fua fa'atatau, lipoti o le fesuia'iga ma le lelei, matau e mata'ituina ai - ni ata matagofie i se taimi fa'afuase'i.
Mamafa ma Fa'aitu'au Fa'alapotopotoga e tele ai fa'ata'ita'iga Vaega e leai se totogi O fa'atusatusaga fa'atasi, fa'amaumauga o iloiloga, fa'amasino; o laulau ma fa'ailoga ua fa'atulaga lelei.
LangSmith Fau fale polokalama LLM Totogi Mulimulita'i la'asaga ta'itasi, fa'afefiloi le iloiloga a tagata ma le au iloilo tulafono po'o le LLM; sili mo le RAG.
TruLens E fiafia i iloiloga LLM tatala-punaoa OSS O galuega fa'atino a le fa'amatalaga e fa'atulaga ai le a'afiaga, le mautu, ma le talafeagai; fa'afeso'ota'i i soo se mea.
Fa'amoemoega Sili Fa'alapotopotoga e fa'amuamua le lelei o fa'amaumauga OSS Fa'atulaga fa'avae fa'amoemoega i fa'amaumauga - aua o fa'amaumauga leaga e fa'aleagaina ai fua fa'atatau uma.
Siaki Loloto Su'ega ma le CI/CD mo le ML OSS + ao Su'ega e aofia ai maa mo le fesuia'iga o fa'amaumauga, fa'afitauli i fa'ata'ita'iga, ma le mata'ituina; pa puipui lelei.

E suia tau - siaki pepa. Ioe, e mafai ona e fa'afefiloi nei mea e aunoa ma le o'o atu o leoleo o meafaigaluega.

Fa'atapula'a, tau, ma pi'oga o fa'ai'uga - o le mealilo lea 🧪

O se mea uiga ese ae moni: e lua faʻataʻitaʻiga e tutusa le ROC-AUC e mafai ona matua eseese lava le taua faapisinisi e fuafua i lau tapulaa ma le tau .

Pepa vave e fausia ai:

  • Seti le tau o se mea sese lelei pe sese leaga i tupe po'o taimi.

  • Fuafua tulaga fa'atapula'a ma fuafua le tau e fa'amoemoeina mo fa'ai'uga e 1,000.

  • Filifili le maualalo e faʻamoemoeina mo le tau , ona loka lea i le mataʻituina.

Faaaoga pi'o PR pe a seasea ona maua ni mea lelei, pi'o ROC mo foliga lautele, ma pi'o fa'atulagaina pe a fa'alagolago fa'ai'uga i mea e ono tutupu. [2][3]

Mini-case: o se faʻataʻitaʻiga lagolago-ticket triage ma le F1 e laʻititi ae sili ona lelei le faʻatulagaina o le toe faʻaleleia o auala tusi lesona pe a uma ona sui galuega mai se tulaga faigata i le faʻatulagaina o auala (e pei o le "auto-resolve," "human-review," "escalate") e fesoʻotaʻi ma fusi o togi ua faʻatulagaina.

Mata'ituina i luga ole initaneti, fe'avea'i, ma lapata'iga 🚨

O iloiloga e le o iai i fafo atu o le initaneti o le amataga lea, ae le o le iʻuga. I le gaosiga:

  • Siaki le fesuia'iga o le input , le fesuia'iga o le output , ma le pa'ū o le faatinoga e ala i vaega.

  • Fa'atulaga siaki o le pa puipui - le fua fa'atatau maualuga o le fa'aaliga sese, tulaga fa'atapula'a o le oona, ma le fairness deltas.

  • Fa'aopoopo le canary dashboards mo le p95 latency, timeouts, ma le tau i talosaga ta'itasi.

  • Faaaoga faletusi ua fausia faapitoa e faatelevave ai lenei mea; latou te ofoina atu le fesuia'iga, lelei, ma le mataituina o mea muamua mai le pusa.

O se tala fa'atusa la'ititi ma sese: mafaufau i lau fa'ata'ita'iga e pei o se mea'ai e fa'aoso ai falaoa tao - e te le na'o le tasi le taimi e te tao ai ma savali ese; e te 'ai, matamata, sogisogi, ma o nisi taimi e toe amata ai.

Iloiloga faaletagata e lē malepelepe 🍪

A fa'avasega e tagata ia taunuuga, e sili atu le tāua o le fa'agasologa nai lo le mea e te manatu i ai.

  • Tusi ni fa'atulagaga fa'apitoa e aofia ai ni fa'ata'ita'iga o le pasi vs. le tuaoi vs. le toilalo.

  • Fa'afuafua ma fa'atauaso fa'ata'ita'iga pe a mafai.

  • Fuafua le maliliega i le va o tagata fa'avasegaina (e pei o le κ a Cohen mo tagata fa'avasegaina e to'alua, κ a Fleiss mo le to'atele) ma toe fa'afou pepa pe afai e le fetaui le maliliega.

O lenei mea e taofia ai ou fa'ailoga faaletagata mai le fesuisuia'i e tusa ai ma lagona po'o le sapalai o le kofe.

Su'esu'ega loloto: auala e fuaina ai le fa'atinoga o le AI mo LLM i le RAG 🧩

  • Tulaga lelei o le toe maua mai - recall@k, precision@k, nDCG; ufiufi o faʻamatalaga auro. [2]

  • Fa'amaoni o tali - siaki e ta'u ma fa'amaonia, togi o le fa'amautuina, su'esu'ega fe'ese'esea'i.

  • Fa'amalieina o le tagata fa'aoga - fa'amanuiaga, fa'amae'aina o le galuega, mamao e fa'asa'o ai mai ata tusi ua fautuaina.

  • Saogalemu - oona, tafega o le PII, tausisia o tulafono faatonutonu.

  • Tau ma le fa'atuai - fa'ailoga, taimi e teu ai mea e teu ai (cache hits), fa'atuai o le p95 ma le p99.

Fa'afeso'ota'i nei mea i gaioiga fa'apisinisi: afai e pa'ū le malosi o le eleele i lalo ifo o se laina, fa'asolo otometi i le faiga fa'atonutonu po'o le iloiloga a tagata.

O se tusi taʻiala faigofie e amata ai i le asō 🪄

  1. Fa'amatala le galuega - tusi se fuaiupu e tasi: o le a le mea e tatau ona fai e le AI ma mo ai.

  2. Filifili ni fua fa'atatau o galuega e 2–3 - fa'aopoopo i ai le fa'atulagaina ma le itiiti ifo ma le tasi le vaega e tutusa ai. [2][3][5]

  3. Filifili tulaga fa'atapula'a e fa'aaoga ai le tau - aua le mateina.

  4. Fausia se seti o iloiloga laʻitiiti - 100–500 faʻataʻitaʻiga ua faʻailogaina e atagia ai le faʻafefiloi o gaosiga.

  5. Fa'aautomatika au iloiloga - fa'atino iloiloga/mata'ituina i totonu o le CI ina ia tutusa lava siaki e fa'atino e suiga uma.

  6. Mata'ituina i le prod - drift, latency, tau, fu'a o mea tutupu.

  7. Iloilo masina ta'itasi - tipi ese fua fa'atatau e leai se tasi e fa'aaogaina; fa'aopoopo ni fua fa'atatau e tali ai fesili moni.

  8. Faamaumau faaiuga - o se pepa togi ola e faitauina moni e lau 'au.

Ioe, o le mea tonu lava lena. Ma e aoga.

O mea sese masani ma le auala e ʻalo ese ai 🕳️🐇

  • Fa'aopoopo i se fua fa'atatau e tasi - fa'aaoga se ato fua fa'atatau e fetaui ma le tulaga o le fa'ai'uga. [1][2]

  • O le lē amana’iaina o le fa’atulagaina - o le mautinoa e aunoa ma le fa’atulagaina e na’o le fa’amaualuga. [3]

  • Leai se vaevaega - ia vaevae i taimi uma e tusa ai ma vaega o tagata faʻaoga, nofoaga, masini, gagana. [5]

  • Tau e le'i fa'amatalaina - afai e te le fa'atulagaina ni tau sese, o le a e filifilia le tulaga fa'atapula'a sese.

  • Fa'aletonu o iloiloga a tagata - maliliega i le fuaina, fa'afouga o taiala, toe a'oa'o tagata iloilo.

  • Leai ni meafaigaluega saogalemu - fa'aopoopo le fa'amaoni, le oona, ma siaki tulafono i le taimi nei, ae le o se taimi mulimuli ane. [1][5]

O le fuaitau na e sau ai mo: auala e fuaina ai le faatinoga o le AI - le Umi Tele, Ou te leʻi Faitauina 🧾

  • Amata i ni taunuuga manino , ona fa'aputu lea o galuega , faiga , ma o pisinisi . [1]

  • Faaaoga fua fa'atatau sa'o mo le galuega - F1 ma le ROC-AUC mo le fa'avasegaga; nDCG/MRR mo le fa'atulagaina; feso'ota'iga + fua fa'atatau fa'auiga mo le tupulaga (fa'atasi ma tagata). [2][4]

  • Fa'atulaga ou avanoa ma fa'atatau au mea sese e filifili ai tulaga fa'atapula'a. [2][3]

  • Fa'aopoopo fa'amaoni i vaega fa'avaega ma pulea lelei fefa'ataua'iga. [5]

  • Fa'aautomatika iloiloga ma le mata'ituina ina ia mafai ona e faia ni suiga e aunoa ma le fefe.

Ua e iloa le tulaga - fuafua le mea e taua, a leai o le a e faʻaleleia atili le mea e le taua.

Fa'asinomaga

[1] NIST. AI Risk Management Framework (AI RMF). faitau atili
[2] scikit-learn. Iloiloga o le faʻataʻitaʻiga: fuaina o le lelei o valoʻaga (Taiala a le Tagata Faʻaoga). faitau atili
[3] scikit-learn. Faʻatulagaina o le ono mafai (calibration curves, Brier score). faitau atili
[4] Papineni et al. (2002). BLEU: o se Metotia mo le Iloiloga Faʻaotometi o le Faʻaliliuga a le Masini. ACL. faitau atili
[5] Hardt, Price, Srebro (2016). Tutusa o Avanoa i le Aʻoaʻoga Vaʻaia. NeurIPS. faitau atili

Saili le AI Fou i le Faleoloa Aloaia o Fesoasoani AI

Faatatau ia tatou

Toe foʻi i le blog