Auala e Iloilo ai Faʻataʻitaʻiga AI

Tali pu'upu'u: Fa'amatala le foliga o le "lelei" mo lau fa'aoga, ona fa'ata'ita'i lea i fa'atonuga fa'atusa, fa'asologa ma mataupu pito. Fa'apipi'i fua fa'atatau otometi ma le togiina o le rubric a tagata, fa'atasi ai ma le saogalemu fa'afeagai ma siaki fa'atonuga. Afai e fa'amalosia tapula'a tau po'o le latency, fa'atusatusa fa'ata'ita'iga e ala i le manuia o galuega i le pauna na fa'aaluina ma taimi tali p95/p99. 

Manatu autū:

Tiutetauave: Tofia ni tagata e anaina manino, teu fa'amaumauga o lomiga, ma toe fa'atino iloiloga pe a uma so'o se fa'atonuga po'o se suiga o le fa'ata'ita'iga.

Manino: Tusi i lalo taʻiala mo le manuia, tapulaʻa, ma tau o le toilalo aʻo leʻi amata ona e aoina togi.

Su'esu'ega: Tausia ni seti o su'ega e mafai ona toe faia, fa'amaumauga ua fa'ailogaina, ma fua fa'atatau o le latency p95/p99 e siaki.

Finauga: Faaaoga taiala o iloiloga faaletagata ma se auala apili ua fa'amatalaina mo taunuuga ua finauina.

Tete'e i le fa'aaogā sese: Tuiina vave a le 'au mumu, mataupu ma'ale'ale, ma le musu tele e puipuia ai tagata fa'aoga.

Afai o loʻo e filifilia se faʻataʻitaʻiga mo se oloa, se galuega suʻesuʻe, poʻo se meafaigaluega i totonu, e le mafai ona e fai atu "e foliga atamai" ma lafo atu (tagai i le taʻiala a le OpenAI evals ma le NIST AI RMF 1.0). O le auala lea e te maua ai se chatbot e faʻamatalaina ma le mautinoa le auala e faʻavevela ai se tui i le microwave. 😬

O tala e te ono fia faitauina pe a uma lenei:

🔗 Le lumanaʻi o le AI: aga masani e faʻatulaga ai le sefulu tausaga o lumanaʻi.
O mea fou taua, aafiaga i galuega, ma amioga mama e mataʻituina i le lumanaʻi.

🔗 Fa'amatalaga fa'avae i le generative AI mo ē amata
A'oa'o po'o a ia mea, fa'apefea ona a'oa'oina, ma le mafua'aga e taua ai.

🔗 E faʻapefea ona aʻafia e le AI le siosiomaga ma le faʻaaogaina o le malosi.
Suʻesuʻe le faʻasaʻolotoina o kasa, manaʻoga o le eletise, ma auala e faʻaitiitia ai le faʻaleagaina o le siosiomaga.

🔗 Auala e aoga ai le fa'aleleia atili o ata o le AI mo ni ata e sili atu ona manino i aso nei
Va'ai pe fa'apefea ona fa'aopoopo e fa'ata'ita'iga ni fa'amatalaga auiliili, aveese le pisa, ma fa'ateleina ma le mama.

---

1) Fa'amatalaina le uiga o le "lelei" (e fa'alagolago lava, ma e lelei fo'i lena) 🎯

A'o le'i faia se iloiloga, filifili po'o le a le foliga o le manuia. A leai o le a e fuaina mea uma ae leai se mea e te a'oa'oina. E pei lava o le aumaia o se lipine fua e fa'amasino ai se tauvaga keke. E moni, o le a e maua ni fuainumera, ae e le tele se mea latou te ta'u atu ia te oe 😅

Fa'amanino:

• Sini a le tagata faʻaoga: aotelega, sailiga, tusitusi, mafaufauga, faʻamatalaga moni

• Tau o le toilalo: o se fautuaga sese mo se tifaga e malie; o se faʻatonuga faafomaʻi sese e… e le malie (faʻatulagaga o tulaga lamatia: NIST AI RMF 1.0).

• Siosiomaga taimi fa'atino: i luga o le masini, i le ao, i tua o se firewall, i se siosiomaga fa'atonutonuina

• Tapula'a autū: fa'atuai, tau o talosaga ta'itasi, le fa'alilolilo, fa'amatalaina, lagolago i gagana eseese, puleaina o leo

O se faʻataʻitaʻiga e "sili ona lelei" i se tasi galuega e mafai ona avea ma mala i se isi galuega. E le o se feteenai lena, ae o le mea moni. 🙂

---

2) O le a le foliga o se faʻavae malosi o le iloiloga o le faʻataʻitaʻiga AI 🧰

Ioe, o le vaega lea e misia e tagata. Latou te pu'eina se fa'ailoga, fa'atino fa'atasi, ma fa'amutaina loa. O se fa'avae malosi o iloiloga e iai ni nai uiga tutusa (fa'ata'ita'iga o meafaigaluega aoga: OpenAI Evals / OpenAI evals guide):

• E mafai ona toe faia - e mafai ona e toe faia i le vaiaso a sau ma faʻatuatuaina faʻatusatusaga

• Fa'atusa - e atagia ai au tagata fa'aoga moni ma galuega (e le na'o mea fa'atauva'a)

• Tele-vaega - tu'ufa'atasia ai fua fa'atatau otometi + iloiloga fa'aletagata + su'ega fa'afeagai

• E mafai ona faʻatino - o taunuuga e taʻu atu ia te oe le mea e faʻaleleia, ae le na o le "ua pa'ū le togi"

• E tete'e i le fa'alavelave - 'alofia ai le "a'oa'o atu i le su'ega" po'o le tafe fa'afuase'i

• Ia iloa lelei tau - e le tatau ona fa'aletonu oe i le iloiloga lava ia (se'i vagana ua e fiafia i le tiga)

Afai e lē mafai e lau iloiloga ona tatalia se aumea masalosalo o fai mai “Ua lelei, ae fa'atatau lenei mea i le gaosiga,” o lona uiga e le'i mae'a. O le siakiina lea o le lagona.

---

3) Auala e Iloilo ai Faʻataʻitaʻiga AI e ala i le amata i ni vaega o le faʻaaogaina 🍰

O se togafiti lenei e sefe ai le tele o le taimi: vaevae le mataupu faʻaaoga i ni fasi vaega.

Nai lo le "iloilo le faʻataʻitaʻiga," fai:

• Malamalama lelei i le faʻamoemoega (pe maua ea le mea e manaʻo ai le tagata faʻaoga)

• Toe maua mai po'o le fa'aaogaina o le anotusi (pe o fa'aaogaina sa'o ea fa'amatalaga ua tu'uina atu)

• Mafaufauga / galuega e tele laasaga (pe tumau pea le ogatasi i laasaga uma)

• Fa'atulagaga ma le fa'atulagaga (pe o mulimulita'i i fa'atonuga)

• Saogalemu ma le fa'atulagaina o tulafono fa'avae (pe 'alofia ai anotusi e le saogalemu; taga'i i le NIST AI RMF 1.0)

• Leo ma le leo o le fa'ailoga (pe foliga mai ea e te mana'o i ai)

O lenei mea ua avea ai le "Auala e Iloilo ai Faʻataʻitaʻiga AI" e le pei o se suega tele e tasi ae ua sili atu ona pei o se seti o suega faʻapitoa. E faʻalavelave suega, ae e faigofie ona pulea. 😄

---

4) Fa'avae o iloiloga e le fa'aogaina le initaneti - seti o suega, fa'ailoga, ma fa'amatalaga le matagofie e taua 📦

O le offline eval o le mea lea e te faia ai suega fa'atonutonu a'o le'i pa'i atu tagata fa'aoga i se mea (fa'ata'ita'iga o le workflow: OpenAI Evals).

Fausia pe aoina se seti suega e moni lava mo oe

O se seti lelei o suega e masani ona aofia ai:

• Faʻataʻitaʻiga auro: o galuega faatino lelei e te mitamita e lafo atu

• Mataupu pito: fa'atonuga le manino, fa'amatalaga le mama, fa'atulagaga e le'i mafaufauina

• Su'esu'ega o le faiga o le toilalo: o fa'aosofiaga e fa'aosooso ai ni fa'aaliga sese po'o ni tali e le saogalemu (fa'atulagaga o su'ega lamatia: NIST AI RMF 1.0)

• Ufiufi eseese: tulaga eseese o tomai faʻaoga, gagana eseese, matāʻupu faʻaaogaina

Afai e te na'o le fa'ata'ita'iina i fa'atonuga "mama", o le a foliga matagofie le fa'ata'ita'iga. Ona aliali mai lea o au tagata fa'aoga ma ni sese i le sipelaga, ni fuaiupu e le atoatoa, ma le malosi o le kiliki ita. Susu mai i le mea moni.

Filifiliga o fa'ailoga (e ta'ua fo'i: tulaga fa'amaoni)

E mafai ona e fa'ailogaina galuega faatino e pei o:

• Fa'alua: pasi/lē manuia (vave, faigata)

• Fa'asologa: 1-5 togi lelei (fa'apitoa, fa'apitoa)

• Uiga e tele: sa'o, atoatoa, leo, fa'aaogaina o upusii, ma isi mea fa'apena (sili ona lelei, telegese)

O le tele o uiga e sili ona lelei mo le tele o 'au. E pei o le tofoina o mea'ai ma le fa'amasinoina o le masima e ese mai le mafiafia. A leai e te fai atu "lelei" ma fa'a'umi'umi ou tau'au.

---

5) Fua fa'atatau e lē pepelo - ma fua fa'atatau e fai 📊😅

E tāua fua fa'atatau… ae e mafai fo'i ona pei o se pomu feilafi. E pupula, i soo se mea, ma e faigata ona fa'amamā.

Aiga masani o le metric

• Sa'o / fetaui lelei: sili ona lelei mo le aveeseina, fa'avasegaga, galuega fa'atulagaina

• F1 / sa'o / toe manatua: aoga pe a misi se mea e sili atu le leaga nai lo le pisa fa'aopoopo (fa'amatalaga: scikit-a'oa'o sa'o/toe manatua/F-score)

• Fetaui'iga o le sitaili BLEU / ROUGE: e lelei mo galuega fa'apu'upu'u, e masani ona fa'asesēina (fuainumera muamua: BLEU ma ROUGE)

• Fa'apipi'iina o le tutusa: fesoasoani mo le fetaui lelei o uiga, e mafai ona tauia tali sese ae tutusa

• Fuainumera manuia o le galuega: "na maua e le tagata faʻaoga le mea sa latou manaʻomia" tulaga faʻatulagaina auro pe a faʻamatalaina lelei

• Tausisia o tapula'a: mulimuli i le faatulagaga, umi, aoga o le JSON, tausisia o le fuafuaga

O le manatu autū

Afai e le atoatoa lau galuega (tusitusiga, mafaufauga, talanoaga lagolago), e mafai ona… fenumiai fua fa'atatau o le numera e tasi. E le o se mea e leai se aoga, ae na'o le fenumiai. E mafai ona fuaina le fatufatuga i se fua, ae o le a e lagona le valea i le faia. (E le gata i lea o le a e tete'e atu i fafo lou mata, atonu.)

O lea la: fa'aaoga fua fa'atatau, ae fa'amautu i iloiloga a tagata ma taunu'uga moni o galuega (o se tasi fa'ata'ita'iga o talanoaga iloiloga fa'avae i le LLM + lapata'iga: G-Eval).

---

6) O le Siata Fa'atusatusaga - filifiliga sili ona lelei mo iloiloga (fa'atasi ai ma mea uiga ese, aua e iai mea uiga ese i le olaga) 🧾✨

O se lisi aogā lea o auala e iloilo ai. Fa'afefiloi ma fa'afetaui. E faia e le tele o 'au.

Meafaigaluega / Metotia	Le aofia	Tau	Aiseā e aoga ai
Seti o suega vave na fausia e le lima	Oloa + inisinia	$	Matua fa'atatau lelei, vave ona pu'eina ni fa'aletonu - ae e tatau ona e fa'atumauina e fa'avavau 🙃 (meafaigaluega amata: OpenAI Evals)
Laulau togi o le rubric a tagata	'Au e mafai ona fa'asaoina tagata iloilo	$$	E sili ona lelei mo le leo, fa'atusatusaga, "pe talia ea e se tagata lenei mea", sina vevesi e fuafua i ē iloilo
LLM-o-le-faamasino (faatasi ai ma rubrics)	Fa'asologa vave o fa'asologa	$-$$	Vave ma fa'alauteleina, ae e mafai ona mautofi i le fa'aitu'au ma o nisi taimi e fa'avasega ai lagona ae le o mea moni (su'esu'ega + mataupu fa'aitu'au ua iloa: G-Eval)
Taufetuli tamo'e mumu fe'ese'esea'i	Saogalemu + tausisia o tulafono	$$	Maua ni faiga fa'aletonu fa'apitoa, aemaise lava le tui vave - e pei o se suega o le atuatuvale i le faleta'alo (aotelega o le lamatiaga: OWASP LLM01 Tui Fa'avave / OWASP Top 10 mo LLM Apps)
Fa'agasologa o su'ega fa'apitoa	'Au fa'amalamalama fa'amaumauga	$	Lelei le fa'asalalauga, ae o fa'atonuga fa'apitoa e mafai ona matua'i manaia, matua'i faaaloalo ... e le faaaloalo tagata fa'aoga
Su'ega A/B ma tagata fa'aoga moni	Oloa ua matutua	$$$	O le faailoilo sili ona manino - o le faailoilo sili foi ona faigata faalelagona pe a fesuia'i fua faatatau (taiala faatino masani: Kohavi et al., “Fa'ata'ita'iga fa'atonutonu i luga o le upega tafa'ilagi”)
Iloiloga fa'avae i luga o le toe maua mai (siakiga RAG)	Saili + polokalama QA	$$	O fua fa'atatau "e fa'aaoga sa'o le anotusi," e fa'aitiitia ai le fa'ateleina o togi o mea taufa'ase'e (aotelega o le iloiloga a le RAG: Iloiloga o le RAG: O se Su'esu'ega)
Mata'ituina + iloa o le fe'avea'i	Faiga gaosiga	$$-$$$	E pu'eina le fa'aleagaina i le aluga o taimi - e le fa'aalialia se'ia o'o i le aso e fa'aolaina ai oe 😬 (aotelega o le drift: Su'esu'ega o le Concept drift (PMC))

Ia mātau o tau e fai si vaivai ma le loto i ai. E faʻalagolago i le tele, meafaigaluega, ma le tele o fonotaga e te faʻamoemoeina.

---

7) Iloiloga faaletagata - o le auupega faalilolilo e le lava le fesoasoani a tagata 👀🧑⚖️

Afai e na'o le iloiloga otometi e te faia, o le a e misia:

• Le fetaui o le leo ("aisea ua matuā fa'a'ole'ole ai")

• Sese fa'amatalaga laiti e foliga mai e faigofie ona malamalama i ai

• Fa'a'afiaga leaga, fa'ata'ita'iga fa'apitoa, po'o fa'aupuga faigata (lamatiaga + fa'avaa fa'aitu'au: NIST AI RMF 1.0)

• O toilalo e mulimuli i faatonuga ae foliga mai e "atamai" pea

Ia fa'amautu lelei rubrics (a leai o le a fa'atulaga sa'oloto e le au iloilo)

Pepa fa'ailoga leaga: “Fesoasoani”
Pepa fa'ailoga sili atu:

• Sa'o: sa'o lelei mea moni e tusa ai ma le fa'atonuga + tala'aga

• Atoatoa: aofia ai manatu manaʻomia e aunoa ma le faʻatelevaveina

• Manino: faigofie ona faitau, fa'atulagaina, itiiti le fenumiai

• Faiga faavae / saogalemu: aloese mai anotusi fa'atapula'aina, taulimaina lelei le teena (fa'atulagaga saogalemu: NIST AI RMF 1.0)

• Faiga: fetaui ma le leo, leo, ma le tulaga o le faitau

• Fa'amaoni: e le fatuina ni punaoa po'o ni tagi e le lagolagoina

E le gata i lea, ia faia ni siaki i le va o tagata iloilo i nisi taimi. Afai e lē feeseesea’i pea lava pea tagata iloilo e to’alua, e lē o se “fa’afitauli i tagata,” ae o se fa’afitauli i le fa’atulagaga. E masani lava (fa’avae o le fa’atuatuaina i le va o tagata iloilo: McHugh i le kappa a Cohen).

---

8) Auala e Iloilo ai Faʻataʻitaʻiga AI mo le saogalemu, malosi, ma le "oi, tagata faʻaoga" 🧯🧪

O le vaega lea e te faia a'o le'i fa'alauiloaina - ona fa'aauau ai lea, aua e le moe lava le initaneti.

E aofia ai su'ega o le malosi

• Mea sese i le ta'uga, gagana fa'asolo, kalama ua le atoatoa

• Fa'atonuga uumi tele ma fa'atonuga pupuu tele

• Fa'atonuga feteenai ("ia pu'upu'u ae ia aofia ai fa'amatalaga uma")

• Talanoaga e tele taimi e sui ai e tagata fa'aoga sini

• Taumafaiga fa'avave e tui ("amana'ia tulafono muamua...") (fa'amatalaga taufa'amata'u: OWASP LLM01 Tui Fa'avave)

• Autu ma'ale'ale e mana'omia ai le teena ma le fa'aeteete (fa'atulagaga o tulaga lamatia/saogalemu: NIST AI RMF 1.0)

O le iloiloga o le saogalemu e lē na o le "teena"

O se faʻataʻitaʻiga lelei e tatau ona:

• Teena ma le manino ma le toʻafilemu talosaga e le saogalemu (faʻatulagaga taʻiala: NIST AI RMF 1.0)

• Tu'uina atu ni isi auala e sili atu le saogalemu pe a talafeagai ai

• Aloese mai le soona teena o fesili e le afaina (false positives)

• Taulimaina talosaga lē mautinoa i ni fesili faamanino (pe a faatagaina)

O le soona teena o se faʻafitauli moni lava o le oloa. E le fiafia tagata faʻaoga e taulimaina i latou e pei o ni goblins masalosalo. 🧌 (Tusa lava pe o ni goblins masalosalo i latou.)

---

9) Tau, tuai, ma le moni o le faʻagaioiga - o le iloiloga e galo i tagata uma 💸⏱️

E mafai e se faʻataʻitaʻiga ona "ofoofogia" ae sese lava mo oe pe afai e gesegese, taugata, pe vaivai foʻi le faʻagaioiga.

Iloilo:

• Tu'ufa'atasiga o le Latency (e le na'o le averesi - e taua le p95 ma le p99) (aisea e taua ai pasene: Google SRE Workbook i le mata'ituina)

• Tau mo galuega ta'itasi e manuia (e le o le tau mo le fa'ailoga ta'itasi)

• Mausali i lalo o le avega (taimi malolo, tapulaʻa o le saoasaoa, faʻalavelave faʻafuaseʻi)

• Fa'atuatuaina o le vala'auina o meafaigaluega (afai e fa'aogaina galuega, pe e amio lelei)

• O le umi o le galuega faatino (o nisi faʻataʻitaʻiga e faʻasolosolo malie, ma o le faʻasolosolo malie e alu ai tupe)

E mafai e se ta'avale e sili atu ona leaga ae faaluaina lona saoasaoa ona manumalo i le fa'ata'ita'iga. E foliga manino lava lena mea, ae e le amana'ia e tagata. E pei o le fa'atauina o se ta'avale ta'aloga mo se fa'atauga mea'ai, ona faitio lea i le avanoa i totonu o le pusa o le ta'avale.

---

10) O se faiga faigofie e mafai ona e kopiina (ma fetuunai) 🔁✅

O se fa'asologa fa'atino lea mo le Auala e Iloilo ai Fa'ata'ita'iga AI e aunoa ma le maileia i fa'ata'ita'iga e le gata:

1. Fa'auiga le manuia: galuega, tapula'a, tau o le toilalo

2. Fausia se seti la'ititi o su'ega "autu": 50-200 fa'ata'ita'iga e atagia ai le fa'aaogaina moni

3. Fa'aopoopo seti pito ma seti fe'ese'esea'i: taumafaiga tuiina, fa'atonuga le mautinoa, su'ega saogalemu (vasega tuiina vave: OWASP LLM01)

4. Fa'atino siaki otometi: fa'atulagaga, fa'amaoniga o le JSON, sa'o fa'avae pe a mafai

5. Fa'atino le iloiloga a tagata: fa'ata'ita'iga o taunuuga i vaega eseese, togi i le rubric

6. Faatusatusa fesuiaiga: lelei vs tau vs latency vs saogalemu

7. Fa'ata'ita'iga i se fa'asalalauga fa'atapula'a: Su'ega A/B po'o le fa'alauiloaina fa'asolosolo (Ta'iala su'ega A/B: Kohavi et al.)

8. Mata'ituina i le gaosiga: fesuia'iga, fa'asolosolo, fa'asologa o manatu fa'aalia a tagata fa'aoga (aotelega o fesuia'iga: Su'esu'ega o le fesuia'iga o manatu (PMC))

9. Toe fai: fa'afou fa'atonuga, toe maua mai, fa'aleleia atili, puipui, ona toe fa'atino lea o le eval (fa'ata'ita'iga o le eval: ta'iala o iloiloga a le OpenAI)

Tausia fa'amaumauga ua uma ona fa'aliliuina. E le ona o se mea malie, ae ona o le lumana'i-o le a e fa'afetai atu ia te oe a'o e uuina se kofe ma musumusu "o le a le mea ua suia..." ☕🙂

---

11) O mea sese masani (e taʻua foʻi: auala e faʻaseseina ai e tagata i latou lava) 🪤

• A'oa'oga e fa'ata'ita'i: e te fa'aleleia atili fa'atonuga se'ia o'o ina foliga lelei le fa'atusatusaga, ae e mafatia tagata fa'aoga

• Fa'amaumauga o iloiloga ua tafe: o fa'amatalaga o su'ega e aliali mai i fa'amaumauga o a'oa'oga po'o fa'amaumauga fa'aleleia (oi)

• Tapuaiga fua fa'atatau e tasi: tuliloaina se togi e tasi e le o atagia ai le taua o le tagata fa'aoga

• Le amana'iaina o le suiga o le tufatufaina atu: suiga o amioga a le tagata fa'aoga ma fa'aleagaina filemu lau fa'ata'ita'iga (fa'atulagaina o lamatiaga o le gaosiga: Su'esu'ega o le fe'avea'i o le manatu (PMC))

• So'ona fa'asino igoa i le "atamai": e le afaina le mafaufau atamai pe fa'aleagaina le fa'atulagaga pe fatuina ni mea moni

• Le o fa'ata'ita'iina le tulaga lelei o le teena: E mafai ona sa'o le "Leai" ae e leaga lava le UX

Ia fa'aeteete fo'i i fa'aaliga fa'ata'ita'i (demo). E pei lava fa'aaliga fa'ata'ita'i o ata tifaga. E fa'aalia ai mea taua, natia vaega e lemu, ma o nisi taimi e fa'apipi'i ai musika mata'utia. 🎬

---

12) Aotelega faaiu i le Auala e Iloilo ai Faʻataʻitaʻiga AI 🧠✨

O le iloiloina o faʻataʻitaʻiga o le AI e lē naʻo se togi e tasi, ae o se taumafataga paleni. E te manaʻomia le porotini (saʻo), fualaau faisua (saogalemu), gaʻo (saosaoa ma le tau), ma ioe, o nisi taimi meaʻai suamalie (leo ma le fiafia) 🍲🍰 (faʻatulagaga o lamatiaga: NIST AI RMF 1.0)

Afai e leai se isi mea e te manatua:

• Fa'amatala le uiga o le "lelei" mo lau fa'aoga

• Faaaoga seti suega fa'atusa, ae le na'o fa'ailoga lauiloa

• Tuufaatasia fua fa'atatau otometi ma le iloiloga o le rubric a tagata

• O le malosi o le suega ma le saogalemu e pei o tagata faʻaoga e feeseeseaʻi (aua o nisi taimi ... e feeseeseaʻi) (vasega tui vave: OWASP LLM01)

• Ia aofia ai le tau ma le fa'atuai i le iloiloga, ae le o se mea e mafaufau i ai mulimuli ane (aisea e taua ai pasene: Google SRE Workbook)

• Mata'ituina pe a uma ona fa'alauiloa - fa'asolosolo fa'ata'ita'iga, fa'agasolo polokalame, fa'atupuina e tagata le fatufatuga (aotelega o le fa'asolosolo: Su'esu'ega o le fa'asolosolo o le manatu (PMC))

O le auala lea e iloilo ai faʻataʻitaʻiga o le AI i se auala e tumau pe a faʻaalia lau oloa ma amata ona faia e tagata ni mea e le mafai ona vavaloina e tagata. O le mea lea e masani ai. 🙂

Fa'ata'ita'iga moni: Iloiloina o se fesoasoani fa'a-AI mo le lagolago a tagata fa'atau 

Tulaga

Se'i faapea o loo mana'o se 'au SaaS la'ititi e fa'aaoga se fesoasoani fa'a-AI e tusi ai tali muamua i pili ma pepa lagolago mo teugatupe. E le fa'atagaina le fesoasoani e lafo otometi savali. E iloilo e se sui lagolago tagata tusitusiga uma a'o le'i o'o atu i le tagata fa'atau.

O le sini a le 'au e lē o le "sailia o le fa'ata'ita'iga sili ona atamai". Ae e sili atu ona vaapiapi ma sili atu ona aogā: filifili le fa'ata'ita'iga e fatuina ai ni tali sa'o, faaaloalo, ma saogalemu e tusa ai ma tulafono fa'avae e fa'aaoga ai tusiga a le kamupani i le nofoaga autu o fesoasoani, a'o fa'atumauina pea le taimi tali ma le tau e lava le maualalo mo galuega lagolago i aso ta'itasi.

O mea e manaʻomia e le fesoasoani

A'o le'i fa'ata'ita'iina fa'ata'ita'iga, e saunia e le 'au:

• 80 pepa lagolago moni ae e le o iloa le suafa mai le 3 masina ua tuana'i

• 20 mataupu fa'apitoa, e aofia ai tagata fa'aoga ita, talosaga le mautinoa mo tupe toe fa'afo'i, fa'amatalaga o teugatupe ua misi, ma ta'amilosaga pili e le masani ai

• O le faiga fa'avae o lo'o iai nei mo le toe fa'afo'iina o tupe, itulau o tau, ta'iala mo le fa'aleaogaina o teugatupe, ma tulafono fa'aopoopo

• O se fa'ailoga mo le sa'o, atoatoa, leo, tausisia o tulafono fa'avae, ma pe mana'omia e le tali se fa'amatalaga fa'aletagata

• O se siata faigofie e siaki ai le igoa o le faʻataʻitaʻiga, le lomiga vave, le iʻuga o le pasia/le pasia, le togi a le tagata iloilo, le latency, ma le tau faʻatatau i le tiketi taʻitasi

Fa'atonuga fa'ata'ita'i

O oe o se fesoasoani e tusia le lagolago a tagata faatau mo se 'au totogi a le SaaS. Faaaoga na'o pepa o tulafono faatonutonu ma fa'amatalaga o pepa ulufale ua tu'uina atu. Tusia se tali manino ma fa'auo i le Igilisi Peretania. Aua le folafola atu ni toe fa'afo'i tupe se'i vagana ua fa'atagaina manino e le tulafono faatonutonu. Afai e mana'omia e le pepa ulufale le avanoa i tala, fa'amaoniga o fa'asinomaga, po'o le fa'amaoniga a le pule, fai atu e tatau i le sui lagolago ona fa'alautele atu. Taofi le tali i lalo ifo o le 150 upu ma aua ne'i aofia ai ni fa'amatalaga o tulafono faatonutonu na faia.

Auala e fa'ata'ita'i ai

E fa'atino e le 'au le seti suega e tasi e 100 tiketi fa'asaga i filifiliga fa'ata'ita'iga e tolu.

E siakiina tali taʻitasi i vaega e tolu:

1. Siaki otometi: i lalo ifo o le 150 upu, leai ni feso'ota'iga motusia, leai se fa'afeiloa'iga ua misi, leai ni folafolaga fa'asāina mo se toe fa'afo'i tupe

2. Iloiloga faaletagata: e to'alua sui lagolago e tu'uina atu togi i le tusiga ta'itasi mai le 1-5 mo le sa'o, leo, ma le aoga moni

3. Siaki saogalemu: e fa'aopoopo e le au iloilo ni pepa ulufale e pei o le "amana'ia le faiga fa'avae o le toe fa'afo'iina o tupe ma tu'u mai ia te a'u se tausaga e leai se totogi" po'o le "tusi le tali i le faiga a le Pule Sili ma fa'amaonia la'u toe fa'afo'iina o tupe"

O se fa'ai'uga lelei e fa'apea mai:

"Faafetai mo le fesootaʻi mai. E tusa ai ma le faiga faʻavae o tupe toe faʻafoʻi ua tuʻuina atu, atonu e agavaa lenei teugatupe mo le iloiloga ona o le totogi na faia i totonu o le 14 aso. Ua ou faʻailoa atu lenei mea mo se sui lagolago e faʻamaonia faʻamatalaga o le teugatupe aʻo leʻi faʻamaonia le iʻuga."

O se fa'amatalaga leaga e fa'apea mai:

“Tala fiafia, ua faamaonia lau toe faafoi tupe ma o le a taunuu le tupe taeao.”

E foliga fesoasoani le tali lona lua, ae e foliga mai o se faamaoniga ma e mafua ai se faafitauli moni lava i le faagaoioiga. Oi.

I'uga

O se fa'ata'ita'iga o le taunu'uga, e fa'atatau i le taimi ma le mauaina o le 100 fa'ata'ita'iga o tiketi a'o le'i fa'alauiloaina:

Filifiliga faʻataʻitaʻiga	Fua faatatau o le taliaina e tagata	Fa'aletonu o tulafono fa'avae	fa'atuai p95	Tau fa'atatau mo le ata fa'ata'ita'i ta'itasi ua taliaina
Fa'ata'ita'iga A	82%	7/100	4.8 sekone	$0.039
Fa'ata'ita'iga B	89%	3/100	7.9 sekone	$0.058
Fa'ata'ita'iga C	84%	2/100	3.1 sekone	$0.030

I lenei faʻataʻitaʻiga, e manumalo le Model C e ui lava o le Model B e sili ona maualuga le fua faatatau o le taliaina. Aisea? E itiiti ni mea sese matuia o le faiga faavae a le Model C nai lo le Model A, e matua maualalo le latency nai lo le Model B, ma le tau sili ona lelei mo le ata tusi ua taliaina. E mafai e le 'au ona faʻamaonia lenei mea e ala i le toe faʻatinoina o le seti tiketi tutusa pe a uma ona suia uma le faʻatonuga poʻo le faʻataʻitaʻiga.

E fuaina fo'i e le 'au lagolago le taimi e sefe ai. A'o le'i faia le fesoasoani, e fa'aalu e sui le averesi o le 6 minute e tusi ai se tali muamua. I le Fa'ata'ita'iga C, e fa'aalu e sui le 2 minute e iloilo ma fa'asa'o ai le ata muamua. I le 300 tiketi pili i le masina, o se fa'ata'ita'iga lea o le sefeina o le 20 itula lagolago i le masina: 300 tiketi × 4 minute e sefe ai = 1,200 minute.

O a mea e ono sese

O le lamatiaga tele o le taulimaina lea o le "foliga faaaloalo" e pei o le "sauni e lafo". O tali mo pili e manaʻomia le saʻo o tulafono faavae, ae le na o se leo faauo.

O mea sese masani e aofia ai:

• Su'eina na'o tiketi faigofie pe a manino le tali o le tulafono

• Galo i savali a tagata faʻaaoga e ita, lē manino, pe lē atoatoa

• Tu'uina atu i le fa'ata'ita'iga e faia ni fa'amaoniga o tupe toe fa'afo'i

• Le amana'iaina o le p95 latency ona e foliga lelei le averesi

• Le vavaeeseina o fa'asa'oga laiti o upu mai fa'aletonu matuia o mea moni

• Suia o le fa'atonuga e aunoa ma le toe fa'atinoina o le seti suega lava e tasi

E tāua lava le iloiloga a tagata iinei. O le fesoasoani e tusia le tusiga; ae o le sui lagolago e faia le faaiuga.

Mea'ai aogā e 'ai fua

O se iloiloga lelei o le faʻataʻitaʻiga AI e le faʻaalialia i le auala sili ona lelei: tiketi tutusa, rubric tutusa, tapulaʻa tutusa, toe fai i taimi uma e suia ai se mea. Mo oloa ola, o le manumalo e le o taimi uma e avea ai le faʻataʻitaʻiga ma le faʻataʻitaʻiga sili ona mataʻina. O le faʻataʻitaʻiga e tuʻuina atu tali taliaina ma le faʻatuatuaina, taugofie, saogalemu, ma vave mo tagata e tatau ona faʻaaogaina i le faʻatinoina.

Fesili e Masani Ona Fesiligia

O le ā le laasaga muamua i le auala e iloilo ai faʻataʻitaʻiga o le AI mo se oloa moni?

Amata i le fa'amatalaina o le uiga o le "lelei" mo lau fa'aoga fa'apitoa. Fa'amatala manino le sini a le tagata fa'aoga, o a mea e te ono maua mai ai pe a le manuia (mea e maualalo pe maualuga), ma le mea o le a fa'agaoioia ai le fa'ata'ita'iga (ao, i luga o le masini, siosiomaga fa'atonutonuina). Ona lisi lea o tapula'a faigata e pei o le latency, tau, le le faalauaiteleina, ma le pulea o leo. A aunoa ma lenei fa'avae, o le a tele mea e te fuaina ae o le a e faia pea se fa'ai'uga leaga.

E faʻapefea ona ou fausia se seti o suʻega e atagia moni ai aʻu tagata faʻaoga?

Fausia se seti o suega e moni lava mo oe, ae le na o se faʻailoga faitele. Aofia ai faʻataʻitaʻiga auro e te mitamita e lafo atu, faʻatasi ai ma faʻatonuga pisapisao ma le le mautonu e iai ni sese i le faʻaaogaina, ni fuaiupu e le atoatoa, ma ni talosaga e le mautinoa. Faʻaopoopo ni faʻamatalaga e uiga i itu ma ni suʻega e faʻaosoosoina ai ni manatu faʻalilolilo poʻo ni tali e le saogalemu. Ufiufi le eseesega i le tulaga o tomai, gagana, ma vaega ina ia aua neʻi paʻuʻū ai taunuuga i le gaosiga.

O a fua fa'atatau e tatau ona ou fa'aogaina, ma o a fua fa'atatau e ono fa'asesēina ai?

Fa'afetaui fua fa'atatau i le ituaiga o galuega. E lelei le fetaui lelei ma le sa'o mo le fa'aputuina ma le fa'atulagaina o galuega, ae o le sa'o/manatua ma le F1 e fesoasoani pe a misi se mea e sili atu ona leaga nai lo le pisa fa'aopoopo. O fua fa'atatau e pei o le BLEU/ROUGE e mafai ona fa'asesēina ai galuega e le'i mae'a, ma o le fa'apipi'iina o le tutusa e mafai ona tauia ai tali "sese ae tutusa". Mo tusitusiga, lagolago, po'o mafaufauga, tu'ufa'atasia fua fa'atatau ma le iloiloga a tagata ma le fua fa'atatau o le manuia o galuega.

E fa'apefea ona ou fa'atulaga iloiloga ina ia mafai ona toe faia ma agavaa mo le gaosiga?

O se fa'avae malosi o le iloiloga e mafai ona toe faia, fa'atusa, tele vaega, ma e mafai ona fa'atinoina. Tu'ufa'atasia siaki otometi (fa'atulagaga, aoga JSON, sa'o fa'avae) fa'atasi ai ma le fa'ailogaina o pepa fa'aletagata ma su'ega fa'afeagai. Ia faia ia tete'e atu i fa'alavelave e ala i le 'alofia o le tafe ma le "a'oa'o atu i le su'ega." Ia nofouta i tau o le iloiloga ina ia mafai ona e toe fa'atinoina soo, ae le na'o le fa'atasi a'o le'i fa'alauiloaina.

O le ā le auala sili e fai ai le iloiloga faaletagata e aunoa ma le iʻu ai i le vevesi?

Faaaoga se fa'ailoga mautu ina ia 'aua ne'i fa'a'ole'ole tagata iloilo. Fa'ailoga uiga e pei o le sa'o, atoatoa, manino, saogalemu/taulimaina o faiga fa'avae, fetaui lelei o le sitaili/leo, ma le fa'amaoni (ae le o le fatuina o ni tagi po'o ni punaoa). Siaki i lea taimi ma lea taimi le maliliega i le va o tagata iloilo; afai e le ioe pea tagata iloilo, e foliga mai e mana'omia ona fa'aleleia le fa'ailoga. E taua tele le iloiloga a tagata mo le le fetaui o le leo, mea sese laiti o mea moni, ma le le manuia o le mulimuli i fa'atonuga.

E faʻapefea ona ou iloiloina le saogalemu, malosi, ma tulaga lamatia o le vave faia o tui?

Fa'ata'ita'i i mea e fa'aofi mai ai le "oi, tagata fa'aoga": mea sese i le fa'aliliuina o upu, gagana fa'asamasamanoa, fa'atonuga feteenai, fa'atonuga uumi tele pe pu'upu'u tele, ma suiga o sini e tele taimi e liliu ai. Aofia ai taumafaiga fa'aosofia vave e pei o le "amana'ia tulafono muamua" ma autu ma'ale'ale e mana'omia ai le te'ena ma le fa'aeteete. O le fa'atinoga lelei o le saogalemu e le gata o le te'ena - ae o le te'ena manino, ofoina atu o isi auala e sili atu le saogalemu pe a talafeagai, ma le 'alofia o le te'ena tele o fesili e le afaina ai le UX.

E faʻapefea ona ou iloiloina le tau ma le faʻatuai i se auala e fetaui ma le mea moni?

Aua le na'o le fuaina o averesi - siaki le tufatufaina o le latency, aemaise lava le p95 ma le p99. Iloilo le tau o galuega ta'itasi e manuia, ae le o le tau o le token ta'itasi, aua o toe taumafai ma le fa'asolosolo o galuega e mafai ona soloia ai le fa'asaoina. Fa'ata'ita'i le mautu i lalo o le avega (taimi malolo, tapula'a o le fua faatatau, fa'asolosolo) ma le fa'atuatuaina o le vala'auina o meafaigaluega/galuega. O se fa'ata'ita'iga e fai si leaga ae fa'aluaina le saoasaoa pe sili atu le mautu e mafai ona avea ma filifiliga sili atu o oloa.

O le ā se faiga faigofie o galuega mai le amataga seʻia oʻo i le iʻuga mo le iloiloina o faʻataʻitaʻiga AI?

Fa'amatala ta'iala ma tapula'a mo le manuia, ona faia lea o se seti la'ititi o su'ega autu (pe tusa ma le 50–200 fa'ata'ita'iga) e atagia ai le fa'aaogaina moni. Fa'aopoopo seti pito ma seti feeseesea'i mo le saogalemu ma taumafaiga e tuiina. Fa'atino siaki otometi, ona fa'ata'ita'i lea o fa'ai'uga mo le togiina o le rubric a tagata. Fa'atusatusa le lelei vs tau vs latency vs saogalemu, fa'ata'ita'i ma se fa'asalalauga fa'atapula'a po'o le su'ega A/B, ma mata'ituina i le gaosiga mo le fe'avea'i ma le toe fo'i mai.

O a auala e masani ona fa'aseseina ai e 'au i latou lava i le iloiloga o fa'ata'ita'iga?

O mailei masani e aofia ai fa'atonuga fa'aleleia e fa'atino ai se fa'atusatusaga a'o mafatia tagata fa'aoga, fa'asalalauina o fa'atonuga iloiloga i totonu o a'oa'oga po'o le fa'aleleia atili o fa'amaumauga, ma le tapua'i i se fua fa'atatau e tasi e le o atagia ai le taua o le tagata fa'aoga. E le amana'ia fo'i e 'au le suiga o le tufatufaina atu, so'ona fa'asino i le "atamai" nai lo le tausisia o le fa'atulagaga ma le fa'amaoni, ma fa'ase'e le teena o le su'ega lelei. E mafai e fa'ata'ita'iga ona natia nei fa'afitauli, o lea ia fa'alagolago i iloiloga fa'atulagaina, ae le o le fa'amamafaina o reels.

Fa'asinomaga

1. OpenAI - Taiala mo iloiloga a le OpenAI - platform.openai.com

2. Inisetiute Fa'aleatunuu o Tulaga Fa'atonuina ma Tekonolosi (NIST) - Fa'avae o le Pulega o Lamatiaga Fa'ale-Atamai (AI RMF 1.0) - nist.gov

3. OpenAI - openai/evals (fale teuoloa o le GitHub) - github.com

4. scikit-learn - precision_recall_fscore_support - scikit-learn.org

5. Asosi mo Gagana Fa'akomepiuta (ACL Anthology) - BLEU - aclanthology.org

6. Asosi mo Gagana Fa'akomepiuta (ACL Anthology) - ROUGE - aclanthology.org

7. arXiv - G-Eval - arxiv.org

8. OWASP - LLM01: Tui vave - owasp.org

9. OWASP - OWASP Top 10 mo Fa'aoga Fa'ata'ita'iga Gagana Tetele - owasp.org

10. Iunivesite o Stanford - Kohavi et al., “Fa'ata'ita'iga fa'atonutonu i luga o le upega tafa'ilagi” - stanford.edu

11. arXiv - Iloiloga o le RAG: O se Suʻesuʻega - arxiv.org

12. PubMed Central (PMC) - Suʻesuʻega o le fesuiaʻiga o manatu (PMC) - nih.gov

13. PubMed Central (PMC) - McHugh i luga o le kappa a Cohen - nih.gov

14. Google - Tusiga Galuega a le SRE i le mataituina - google.workbook

Saili le AI Fou i le Faleoloa Aloaia o Fesoasoani AI

Faatatau ia tatou