Auala e Iloilo ai Faʻataʻitaʻiga AI

Auala e Iloilo ai Faʻataʻitaʻiga AI

Tali pu'upu'u: Fa'amatala le foliga o le "lelei" mo lau fa'aoga, ona fa'ata'ita'i lea i fa'atonuga fa'atusa, fa'asologa ma mataupu pito. Fa'apipi'i fua fa'atatau otometi ma le togiina o le rubric a tagata, fa'atasi ai ma le saogalemu fa'afeagai ma siaki fa'atonuga. Afai e fa'amalosia tapula'a tau po'o le latency, fa'atusatusa fa'ata'ita'iga e ala i le manuia o galuega i le pauna na fa'aaluina ma taimi tali p95/p99.

Manatu autū:

Tiutetauave : Tofia ni tagata e anaina manino, teu fa'amaumauga o lomiga, ma toe fa'atino iloiloga pe a uma so'o se fa'atonuga po'o se suiga o le fa'ata'ita'iga.

Manino : Tusi i lalo taʻiala mo le manuia, tapulaʻa, ma tau o le toilalo aʻo leʻi amata ona e aoina togi.

Su'esu'ega : Tausia ni seti o su'ega e mafai ona toe faia, fa'amaumauga ua fa'ailogaina, ma fua fa'atatau o le latency p95/p99 e siaki.

Finauga : Faaaoga taiala o iloiloga faaletagata ma se auala apili ua fa'amatalaina mo taunuuga ua finauina.

Tete'e i le fa'aaogā sese : Tuiina vave a le 'au mumu, mataupu ma'ale'ale, ma le musu tele e puipuia ai tagata fa'aoga.

Afai o loʻo e filifilia se faʻataʻitaʻiga mo se oloa, se galuega suʻesuʻe, poʻo se meafaigaluega i totonu, e le mafai ona e fai atu "e foliga atamai" ma lafo atu (tagai i le taʻiala a le OpenAI evals ma le NIST AI RMF 1.0 ). O le auala lea e te maua ai se chatbot e faʻamatalaina ma le mautinoa le auala e faʻavevela ai se tui i le microwave. 😬

Fa'amatalaga Fa'apitoa e uiga i le Fa'ata'ita'iga AI

O tala e te ono fia faitauina pe a uma lenei:

🔗 Le lumanaʻi o le AI: aga masani e faʻatulaga ai le sefulu tausaga o lumanaʻi.
O mea fou taua, aafiaga i galuega, ma amioga mama e mataʻituina i le lumanaʻi.

🔗 Fa'amatalaga fa'avae i le generative AI mo ē amata
A'oa'o po'o a ia mea, fa'apefea ona a'oa'oina, ma le mafua'aga e taua ai.

🔗 E faʻapefea ona aʻafia e le AI le siosiomaga ma le faʻaaogaina o le malosi.
Suʻesuʻe le faʻasaʻolotoina o kasa, manaʻoga o le eletise, ma auala e faʻaitiitia ai le faʻaleagaina o le siosiomaga.

🔗 Auala e aoga ai le fa'aleleia atili o ata o le AI mo ni ata e sili atu ona manino i aso nei
Va'ai pe fa'apefea ona fa'aopoopo e fa'ata'ita'iga ni fa'amatalaga auiliili, aveese le pisa, ma fa'ateleina ma le mama.

1) Fa'amatalaina le uiga o le "lelei" (e fa'alagolago lava, ma e lelei fo'i lena) 🎯

A'o le'i faia se iloiloga, filifili po'o le a le foliga o le manuia. A leai o le a e fuaina mea uma ae leai se mea e te a'oa'oina. E pei lava o le aumaia o se lipine fua e fa'amasino ai se tauvaga keke. E moni, o le a e maua ni fuainumera, ae e le tele se mea latou te ta'u atu ia te oe 😅

Fa'amanino:

  • Sini a le tagata faʻaoga : aotelega, sailiga, tusitusi, mafaufauga, faʻamatalaga moni

  • Tau o le toilalo : o se fautuaga sese mo se tifaga e malie; o se faʻatonuga faafomaʻi sese e… e le malie (faʻatulagaga o tulaga lamatia: NIST AI RMF 1.0 ).

  • Siosiomaga taimi fa'atino : i luga o le masini, i le ao, i tua o se firewall, i se siosiomaga fa'atonutonuina

  • Tapula'a autū : fa'atuai, tau o talosaga ta'itasi, le fa'alilolilo, fa'amatalaina, lagolago i gagana eseese, puleaina o leo

O se faʻataʻitaʻiga e "sili ona lelei" i se tasi galuega e mafai ona avea ma mala i se isi galuega. E le o se feteenai lena, ae o le mea moni. 🙂

2) O le a le foliga o se faʻavae malosi o le iloiloga o le faʻataʻitaʻiga AI 🧰

Ioe, o le vaega lea e misia e tagata. Latou te pu'eina se fa'ailoga, fa'atino fa'atasi, ma fa'amutaina loa. O se fa'avae malosi o iloiloga e iai ni nai uiga tutusa (fa'ata'ita'iga o meafaigaluega aoga: OpenAI Evals / OpenAI evals guide ):

  • E mafai ona toe faia - e mafai ona e toe faia i le vaiaso a sau ma faʻatuatuaina faʻatusatusaga

  • Fa'atusa - e atagia ai au tagata fa'aoga moni ma galuega (e le na'o mea fa'atauva'a)

  • Tele-vaega - tu'ufa'atasia ai fua fa'atatau otometi + iloiloga fa'aletagata + su'ega fa'afeagai

  • E mafai ona faʻatino - o taunuuga e taʻu atu ia te oe le mea e faʻaleleia, ae le na o le "ua pa'ū le togi"

  • E tete'e i le fa'alavelave - 'alofia ai le "a'oa'o atu i le su'ega" po'o le tafe fa'afuase'i

  • Ia iloa lelei tau - e le tatau ona fa'aletonu oe i le iloiloga lava ia (se'i vagana ua e fiafia i le tiga)

Afai e lē mafai e lau iloiloga ona tatalia se aumea masalosalo o fai mai “Ua lelei, ae fa'atatau lenei mea i le gaosiga,” o lona uiga e le'i mae'a. O le siakiina lea o le lagona.

3) Auala e Iloilo ai Faʻataʻitaʻiga AI e ala i le amata i ni vaega o le faʻaaogaina 🍰

O se togafiti lenei e sefe ai le tele o le taimi: vaevae le mataupu faʻaaoga i ni fasi vaega .

Nai lo le "iloilo le faʻataʻitaʻiga," fai:

  • Malamalama lelei i le faʻamoemoega (pe maua ea le mea e manaʻo ai le tagata faʻaoga)

  • Toe maua mai po'o le fa'aaogaina o le anotusi (pe o fa'aaogaina sa'o ea fa'amatalaga ua tu'uina atu)

  • Mafaufauga / galuega e tele laasaga (pe tumau pea le ogatasi i laasaga uma)

  • Fa'atulagaga ma le fa'atulagaga (pe o mulimulita'i i fa'atonuga)

  • Saogalemu ma le fa'atulagaina o tulafono fa'avae (pe 'alofia ai anotusi e le saogalemu; taga'i i le NIST AI RMF 1.0 )

  • Leo ma le leo o le fa'ailoga (pe foliga mai ea e te mana'o i ai)

O lenei mea ua avea ai le "Auala e Iloilo ai Faʻataʻitaʻiga AI" e le pei o se suega tele e tasi ae ua sili atu ona pei o se seti o suega faʻapitoa. E faʻalavelave suega, ae e faigofie ona pulea. 😄

4) Fa'avae o iloiloga e le fa'aogaina le initaneti - seti o suega, fa'ailoga, ma fa'amatalaga le matagofie e taua 📦

O le offline eval o le mea lea e te faia ai suega fa'atonutonu a'o le'i pa'i atu tagata fa'aoga i se mea (fa'ata'ita'iga o le workflow: OpenAI Evals ).

Fausia pe aoina se seti suega e moni lava mo oe

O se seti lelei o suega e masani ona aofia ai:

  • Faʻataʻitaʻiga auro : o galuega faatino lelei e te mitamita e lafo atu

  • Mataupu pito : fa'atonuga le manino, fa'amatalaga le mama, fa'atulagaga e le'i mafaufauina

  • Su'esu'ega o le faiga o le toilalo : o fa'aosofiaga e fa'aosooso ai ni fa'aaliga sese po'o ni tali e le saogalemu (fa'atulagaga o su'ega lamatia: NIST AI RMF 1.0 )

  • Ufiufi eseese : tulaga eseese o tomai faʻaoga, gagana eseese, matāʻupu faʻaaogaina

Afai e te na'o le fa'ata'ita'iina i fa'atonuga "mama", o le a foliga matagofie le fa'ata'ita'iga. Ona aliali mai lea o au tagata fa'aoga ma ni sese i le sipelaga, ni fuaiupu e le atoatoa, ma le malosi o le kiliki ita. Susu mai i le mea moni.

Filifiliga o fa'ailoga (e ta'ua fo'i: tulaga fa'amaoni)

E mafai ona e fa'ailogaina galuega faatino e pei o:

  • Fa'alua : pasi/lē manuia (vave, faigata)

  • Fa'asologa : 1-5 togi lelei (fa'apitoa, fa'apitoa)

  • Uiga e tele : sa'o, atoatoa, leo, fa'aaogaina o upusii, ma isi mea fa'apena (sili ona lelei, telegese)

O le tele o uiga e sili ona lelei mo le tele o 'au. E pei o le tofoina o mea'ai ma le fa'amasinoina o le masima e ese mai le mafiafia. A leai e te fai atu "lelei" ma fa'a'umi'umi ou tau'au.

5) Fua fa'atatau e lē pepelo - ma fua fa'atatau e fai 📊😅

E tāua fua fa'atatau… ae e mafai fo'i ona pei o se pomu feilafi. E pupula, i soo se mea, ma e faigata ona fa'amamā.

Aiga masani o le metric

  • Sa'o / fetaui lelei : sili ona lelei mo le aveeseina, fa'avasegaga, galuega fa'atulagaina

  • F1 / sa'o / toe manatua : aoga pe a misi se mea e sili atu le leaga nai lo le pisa fa'aopoopo (fa'amatalaga: scikit-a'oa'o sa'o/toe manatua/F-score )

  • Fetaui'iga o le sitaili BLEU / ROUGE : e lelei mo galuega fa'apu'upu'u, e masani ona fa'asesēina (fuainumera muamua: BLEU ma ROUGE )

  • Fa'apipi'iina o le tutusa : fesoasoani mo le fetaui lelei o uiga, e mafai ona tauia tali sese ae tutusa

  • Fuainumera manuia o le galuega : "na maua e le tagata faʻaoga le mea sa latou manaʻomia" tulaga faʻatulagaina auro pe a faʻamatalaina lelei

  • Tausisia o tapula'a : mulimuli i le faatulagaga, umi, aoga o le JSON, tausisia o le fuafuaga

O le manatu autū

Afai e le atoatoa lau galuega (tusitusiga, mafaufauga, talanoaga lagolago), e mafai ona… fenumiai fua fa'atatau o le numera e tasi. E le o se mea e leai se aoga, ae na'o le fenumiai. E mafai ona fuaina le fatufatuga i se fua, ae o le a e lagona le valea i le faia. (E le gata i lea o le a e tete'e atu i fafo lou mata, atonu.)

O lea la: fa'aaoga fua fa'atatau, ae fa'amautu i iloiloga a tagata ma taunu'uga moni o galuega (o se tasi fa'ata'ita'iga o talanoaga iloiloga fa'avae i le LLM + lapata'iga: G-Eval ).

6) O le Siata Fa'atusatusaga - filifiliga sili ona lelei mo iloiloga (fa'atasi ai ma mea uiga ese, aua e iai mea uiga ese i le olaga) 🧾✨

O se lisi aogā lea o auala e iloilo ai. Fa'afefiloi ma fa'afetaui. E faia e le tele o 'au.

Meafaigaluega / Metotia Le aofia Tau Aiseā e aoga ai
Seti o suega vave na fausia e le lima Oloa + inisinia $ Matua fa'atatau lelei, vave ona pu'eina ni fa'aletonu - ae e tatau ona e fa'atumauina e fa'avavau 🙃 (meafaigaluega amata: OpenAI Evals )
Laulau togi o le rubric a tagata 'Au e mafai ona fa'asaoina tagata iloilo $$ E sili ona lelei mo le leo, fa'atusatusaga, "pe talia ea e se tagata lenei mea", sina vevesi e fuafua i ē iloilo
LLM-o-le-faamasino (faatasi ai ma rubrics) Fa'asologa vave o fa'asologa $-$$ Vave ma fa'alauteleina, ae e mafai ona mautofi i le fa'aitu'au ma o nisi taimi e fa'avasega ai lagona ae le o mea moni (su'esu'ega + mataupu fa'aitu'au ua iloa: G-Eval )
Taufetuli tamo'e mumu fe'ese'esea'i Saogalemu + tausisia o tulafono $$ Maua ni faiga fa'aletonu fa'apitoa, aemaise lava le tui vave - e pei o se suega o le atuatuvale i le faleta'alo (aotelega o le lamatiaga: OWASP LLM01 Tui Fa'avave / OWASP Top 10 mo LLM Apps )
Fa'agasologa o su'ega fa'apitoa 'Au fa'amalamalama fa'amaumauga $ Lelei le fa'asalalauga, ae o fa'atonuga fa'apitoa e mafai ona matua'i manaia, matua'i faaaloalo ... e le faaaloalo tagata fa'aoga
Su'ega A/B ma tagata fa'aoga moni Oloa ua matutua $$$ O le faailoilo sili ona manino - o le faailoilo sili foi ona faigata faalelagona pe a fesuia'i fua faatatau (taiala faatino masani: Kohavi et al., “Fa'ata'ita'iga fa'atonutonu i luga o le upega tafa'ilagi” )
Iloiloga fa'avae i luga o le toe maua mai (siakiga RAG) Saili + polokalama QA $$ O fua fa'atatau "e fa'aaoga sa'o le anotusi," e fa'aitiitia ai le fa'ateleina o togi o mea taufa'ase'e (aotelega o le iloiloga a le RAG: Iloiloga o le RAG: O se Su'esu'ega )
Mata'ituina + iloa o le fe'avea'i Faiga gaosiga $$-$$$ E pu'eina le fa'aleagaina i le aluga o taimi - e le fa'aalialia se'ia o'o i le aso e fa'aolaina ai oe 😬 (aotelega o le drift: Su'esu'ega o le Concept drift (PMC) )

Ia mātau o tau e fai si vaivai ma le loto i ai. E faʻalagolago i le tele, meafaigaluega, ma le tele o fonotaga e te faʻamoemoeina.

7) Iloiloga faaletagata - o le auupega faalilolilo e le lava le fesoasoani a tagata 👀🧑⚖️

Afai e na'o le iloiloga otometi e te faia, o le a e misia:

  • Le fetaui o le leo ("aisea ua matuā fa'a'ole'ole ai")

  • Sese fa'amatalaga laiti e foliga mai e faigofie ona malamalama i ai

  • Fa'a'afiaga leaga, fa'ata'ita'iga fa'apitoa, po'o fa'aupuga faigata (lamatiaga + fa'avaa fa'aitu'au: NIST AI RMF 1.0 )

  • O toilalo e mulimuli i faatonuga ae foliga mai e "atamai" pea

Ia fa'amautu lelei rubrics (a leai o le a fa'atulaga sa'oloto e le au iloilo)

Pepa fa'ailoga leaga: “Fesoasoani”
Pepa fa'ailoga sili atu:

  • Sa'o : sa'o lelei mea moni e tusa ai ma le fa'atonuga + tala'aga

  • Atoatoa : aofia ai manatu manaʻomia e aunoa ma le faʻatelevaveina

  • Manino : faigofie ona faitau, fa'atulagaina, itiiti le fenumiai

  • Faiga faavae / saogalemu : aloese mai anotusi fa'atapula'aina, taulimaina lelei le teena (fa'atulagaga saogalemu: NIST AI RMF 1.0 )

  • Faiga : fetaui ma le leo, leo, ma le tulaga o le faitau

  • Fa'amaoni : e le fatuina ni punaoa po'o ni tagi e le lagolagoina

E le gata i lea, ia faia ni siaki i le va o tagata iloilo i nisi taimi. Afai e lē feeseesea’i pea lava pea tagata iloilo e to’alua, e lē o se “fa’afitauli i tagata,” ae o se fa’afitauli i le fa’atulagaga. E masani lava (fa’avae o le fa’atuatuaina i le va o tagata iloilo: McHugh i le kappa a Cohen ).

8) Auala e Iloilo ai Faʻataʻitaʻiga AI mo le saogalemu, malosi, ma le "oi, tagata faʻaoga" 🧯🧪

O le vaega lea e te faia a'o le'i fa'alauiloaina - ona fa'aauau ai lea, aua e le moe lava le initaneti.

E aofia ai su'ega o le malosi

  • Mea sese i le ta'uga, gagana fa'asolo, kalama ua le atoatoa

  • Fa'atonuga uumi tele ma fa'atonuga pupuu tele

  • Fa'atonuga feteenai ("ia pu'upu'u ae ia aofia ai fa'amatalaga uma")

  • Talanoaga e tele taimi e sui ai e tagata fa'aoga sini

  • Taumafaiga fa'avave e tui ("amana'ia tulafono muamua...") (fa'amatalaga taufa'amata'u: OWASP LLM01 Tui Fa'avave )

  • Autu ma'ale'ale e mana'omia ai le teena ma le fa'aeteete (fa'atulagaga o tulaga lamatia/saogalemu: NIST AI RMF 1.0 )

O le iloiloga o le saogalemu e lē na o le "teena"

O se faʻataʻitaʻiga lelei e tatau ona:

  • Teena ma le manino ma le toʻafilemu talosaga e le saogalemu (faʻatulagaga taʻiala: NIST AI RMF 1.0 )

  • Tu'uina atu ni isi auala e sili atu le saogalemu pe a talafeagai ai

  • Aloese mai le soona teena o fesili e le afaina (false positives)

  • Taulimaina talosaga lē mautinoa i ni fesili faamanino (pe a faatagaina)

O le soona teena o se faʻafitauli moni lava o le oloa. E le fiafia tagata faʻaoga e taulimaina i latou e pei o ni goblins masalosalo. 🧌 (Tusa lava pe o ni goblins masalosalo i latou.)

9) Tau, tuai, ma le moni o le faʻagaioiga - o le iloiloga e galo i tagata uma 💸⏱️

E mafai e se faʻataʻitaʻiga ona "ofoofogia" ae sese lava mo oe pe afai e gesegese, taugata, pe vaivai foʻi le faʻagaioiga.

Iloilo:

  • Tu'ufa'atasiga o le Latency (e le na'o le averesi - e taua le p95 ma le p99) (aisea e taua ai pasene: Google SRE Workbook i le mata'ituina )

  • Tau mo galuega ta'itasi e manuia (e le o le tau mo le fa'ailoga ta'itasi)

  • Mausali i lalo o le avega (taimi malolo, tapulaʻa o le saoasaoa, faʻalavelave faʻafuaseʻi)

  • Fa'atuatuaina o le vala'auina o meafaigaluega (afai e fa'aogaina galuega, pe e amio lelei)

  • O le umi o le galuega faatino (o nisi faʻataʻitaʻiga e faʻasolosolo malie, ma o le faʻasolosolo malie e alu ai tupe)

E mafai e se ta'avale e sili atu ona leaga ae faaluaina lona saoasaoa ona manumalo i le fa'ata'ita'iga. E foliga manino lava lena mea, ae e le amana'ia e tagata. E pei o le fa'atauina o se ta'avale ta'aloga mo se fa'atauga mea'ai, ona faitio lea i le avanoa i totonu o le pusa o le ta'avale.

10) O se faiga faigofie e mafai ona e kopiina (ma fetuunai) 🔁✅

O se fa'asologa fa'atino lea mo le Auala e Iloilo ai Fa'ata'ita'iga AI e aunoa ma le maileia i fa'ata'ita'iga e le gata:

  1. Fa'auiga le manuia : galuega, tapula'a, tau o le toilalo

  2. Fausia se seti la'ititi o su'ega "autu" : 50-200 fa'ata'ita'iga e atagia ai le fa'aaogaina moni

  3. Fa'aopoopo seti pito ma seti fe'ese'esea'i : taumafaiga tuiina, fa'atonuga le mautinoa, su'ega saogalemu (vasega tuiina vave: OWASP LLM01 )

  4. Fa'atino siaki otometi : fa'atulagaga, fa'amaoniga o le JSON, sa'o fa'avae pe a mafai

  5. Fa'atino le iloiloga a tagata : fa'ata'ita'iga o taunuuga i vaega eseese, togi i le rubric

  6. Faatusatusa fesuiaiga : lelei vs tau vs latency vs saogalemu

  7. Fa'ata'ita'iga i se fa'asalalauga fa'atapula'a : Su'ega A/B po'o le fa'alauiloaina fa'asolosolo (Ta'iala su'ega A/B: Kohavi et al. )

  8. Mata'ituina i le gaosiga : fesuia'iga, fa'asolosolo, fa'asologa o manatu fa'aalia a tagata fa'aoga (aotelega o fesuia'iga: Su'esu'ega o le fesuia'iga o manatu (PMC) )

  9. Toe fai : fa'afou fa'atonuga, toe maua mai, fa'aleleia atili, puipui, ona toe fa'atino lea o le eval (fa'ata'ita'iga o le eval: ta'iala o iloiloga a le OpenAI )

Tausia fa'amaumauga ua uma ona fa'aliliuina. E le ona o se mea malie, ae ona o le lumana'i-o le a e fa'afetai atu ia te oe a'o e uuina se kofe ma musumusu "o le a le mea ua suia..." ☕🙂

11) O mea sese masani (e taʻua foʻi: auala e faʻaseseina ai e tagata i latou lava) 🪤

  • A'oa'oga e fa'ata'ita'i : e te fa'aleleia atili fa'atonuga se'ia o'o ina foliga lelei le fa'atusatusaga, ae e mafatia tagata fa'aoga

  • Fa'amaumauga o iloiloga ua tafe : o fa'amatalaga o su'ega e aliali mai i fa'amaumauga o a'oa'oga po'o fa'amaumauga fa'aleleia (oi)

  • Tapuaiga fua fa'atatau e tasi : tuliloaina se togi e tasi e le o atagia ai le taua o le tagata fa'aoga

  • Le amana'iaina o le suiga o le tufatufaina atu : suiga o amioga a le tagata fa'aoga ma fa'aleagaina filemu lau fa'ata'ita'iga (fa'atulagaina o lamatiaga o le gaosiga: Su'esu'ega o le fe'avea'i o le manatu (PMC) )

  • So'ona fa'asino igoa i le "atamai" : e le afaina le mafaufau atamai pe fa'aleagaina le fa'atulagaga pe fatuina ni mea moni

  • Le o fa'ata'ita'iina le tulaga lelei o le teena : E mafai ona sa'o le "Leai" ae e leaga lava le UX

Ia fa'aeteete fo'i i fa'aaliga fa'ata'ita'i (demo). E pei lava fa'aaliga fa'ata'ita'i o ata tifaga. E fa'aalia ai mea taua, natia vaega e lemu, ma o nisi taimi e fa'apipi'i ai musika mata'utia. 🎬

12) Aotelega faaiu i le Auala e Iloilo ai Faʻataʻitaʻiga AI 🧠✨

O le iloiloina o faʻataʻitaʻiga o le AI e lē naʻo se togi e tasi, ae o se taumafataga paleni. E te manaʻomia le porotini (saʻo), fualaau faisua (saogalemu), gaʻo (saosaoa ma le tau), ma ioe, o nisi taimi meaʻai suamalie (leo ma le fiafia) 🍲🍰 (faʻatulagaga o lamatiaga: NIST AI RMF 1.0 )

Afai e leai se isi mea e te manatua:

  • Fa'amatala le uiga o le "lelei" mo lau fa'aoga

  • Faaaoga seti suega fa'atusa, ae le na'o fa'ailoga lauiloa

  • Tuufaatasia fua fa'atatau otometi ma le iloiloga o le rubric a tagata

  • O le malosi o le suega ma le saogalemu e pei o tagata faʻaoga e feeseeseaʻi (aua o nisi taimi ... e feeseeseaʻi) (vasega tui vave: OWASP LLM01 )

  • Ia aofia ai le tau ma le fa'atuai i le iloiloga, ae le o se mea e mafaufau i ai mulimuli ane (aisea e taua ai pasene: Google SRE Workbook )

  • Mata'ituina pe a uma ona fa'alauiloa - fa'asolosolo fa'ata'ita'iga, fa'agasolo polokalame, fa'atupuina e tagata le fatufatuga (aotelega o le fa'asolosolo: Su'esu'ega o le fa'asolosolo o le manatu (PMC) )

O le auala lea e iloilo ai faʻataʻitaʻiga o le AI i se auala e tumau pe a faʻaalia lau oloa ma amata ona faia e tagata ni mea e le mafai ona vavaloina e tagata. O le mea lea e masani ai. 🙂

Fesili e Masani Ona Fesiligia

O le ā le laasaga muamua i le auala e iloilo ai faʻataʻitaʻiga o le AI mo se oloa moni?

Amata i le fa'amatalaina o le uiga o le "lelei" mo lau fa'aoga fa'apitoa. Fa'amatala manino le sini a le tagata fa'aoga, o a mea e te ono maua mai ai pe a le manuia (mea e maualalo pe maualuga), ma le mea o le a fa'agaoioia ai le fa'ata'ita'iga (ao, i luga o le masini, siosiomaga fa'atonutonuina). Ona lisi lea o tapula'a faigata e pei o le latency, tau, le le faalauaiteleina, ma le pulea o leo. A aunoa ma lenei fa'avae, o le a tele mea e te fuaina ae o le a e faia pea se fa'ai'uga leaga.

E faʻapefea ona ou fausia se seti o suʻega e atagia moni ai aʻu tagata faʻaoga?

Fausia se seti o suega e moni lava mo oe, ae le na o se faʻailoga faitele. Aofia ai faʻataʻitaʻiga auro e te mitamita e lafo atu, faʻatasi ai ma faʻatonuga pisapisao ma le le mautonu e iai ni sese i le faʻaaogaina, ni fuaiupu e le atoatoa, ma ni talosaga e le mautinoa. Faʻaopoopo ni faʻamatalaga e uiga i itu ma ni suʻega e faʻaosoosoina ai ni manatu faʻalilolilo poʻo ni tali e le saogalemu. Ufiufi le eseesega i le tulaga o tomai, gagana, ma vaega ina ia aua neʻi paʻuʻū ai taunuuga i le gaosiga.

O a fua fa'atatau e tatau ona ou fa'aogaina, ma o a fua fa'atatau e ono fa'asesēina ai?

Fa'afetaui fua fa'atatau i le ituaiga o galuega. E lelei le fetaui lelei ma le sa'o mo le fa'aputuina ma le fa'atulagaina o galuega, ae o le sa'o/manatua ma le F1 e fesoasoani pe a misi se mea e sili atu ona leaga nai lo le pisa fa'aopoopo. O fua fa'atatau e pei o le BLEU/ROUGE e mafai ona fa'asesēina ai galuega e le'i mae'a, ma o le fa'apipi'iina o le tutusa e mafai ona tauia ai tali "sese ae tutusa". Mo tusitusiga, lagolago, po'o mafaufauga, tu'ufa'atasia fua fa'atatau ma le iloiloga a tagata ma le fua fa'atatau o le manuia o galuega.

E fa'apefea ona ou fa'atulaga iloiloga ina ia mafai ona toe faia ma agavaa mo le gaosiga?

O se fa'avae malosi o le iloiloga e mafai ona toe faia, fa'atusa, tele vaega, ma e mafai ona fa'atinoina. Tu'ufa'atasia siaki otometi (fa'atulagaga, aoga JSON, sa'o fa'avae) fa'atasi ai ma le fa'ailogaina o pepa fa'aletagata ma su'ega fa'afeagai. Ia faia ia tete'e atu i fa'alavelave e ala i le 'alofia o le tafe ma le "a'oa'o atu i le su'ega." Ia nofouta i tau o le iloiloga ina ia mafai ona e toe fa'atinoina soo, ae le na'o le fa'atasi a'o le'i fa'alauiloaina.

O le ā le auala sili e fai ai le iloiloga faaletagata e aunoa ma le iʻu ai i le vevesi?

Faaaoga se fa'ailoga mautu ina ia 'aua ne'i fa'a'ole'ole tagata iloilo. Fa'ailoga uiga e pei o le sa'o, atoatoa, manino, saogalemu/taulimaina o faiga fa'avae, fetaui lelei o le sitaili/leo, ma le fa'amaoni (ae le o le fatuina o ni tagi po'o ni punaoa). Siaki i lea taimi ma lea taimi le maliliega i le va o tagata iloilo; afai e le ioe pea tagata iloilo, e foliga mai e mana'omia ona fa'aleleia le fa'ailoga. E taua tele le iloiloga a tagata mo le le fetaui o le leo, mea sese laiti o mea moni, ma le le manuia o le mulimuli i fa'atonuga.

E faʻapefea ona ou iloiloina le saogalemu, malosi, ma tulaga lamatia o le vave faia o tui?

Fa'ata'ita'i i mea e fa'aofi mai ai le "oi, tagata fa'aoga": mea sese i le fa'aliliuina o upu, gagana fa'asamasamanoa, fa'atonuga feteenai, fa'atonuga uumi tele pe pu'upu'u tele, ma suiga o sini e tele taimi e liliu ai. Aofia ai taumafaiga fa'aosofia vave e pei o le "amana'ia tulafono muamua" ma autu ma'ale'ale e mana'omia ai le te'ena ma le fa'aeteete. O le fa'atinoga lelei o le saogalemu e le gata o le te'ena - ae o le te'ena manino, ofoina atu o isi auala e sili atu le saogalemu pe a talafeagai, ma le 'alofia o le te'ena tele o fesili e le afaina ai le UX.

E faʻapefea ona ou iloiloina le tau ma le faʻatuai i se auala e fetaui ma le mea moni?

Aua le na'o le fuaina o averesi - siaki le tufatufaina o le latency, aemaise lava le p95 ma le p99. Iloilo le tau o galuega ta'itasi e manuia, ae le o le tau o le token ta'itasi, aua o toe taumafai ma le fa'asolosolo o galuega e mafai ona soloia ai le fa'asaoina. Fa'ata'ita'i le mautu i lalo o le avega (taimi malolo, tapula'a o le fua faatatau, fa'asolosolo) ma le fa'atuatuaina o le vala'auina o meafaigaluega/galuega. O se fa'ata'ita'iga e fai si leaga ae fa'aluaina le saoasaoa pe sili atu le mautu e mafai ona avea ma filifiliga sili atu o oloa.

O le ā se faiga faigofie o galuega mai le amataga seʻia oʻo i le iʻuga mo le iloiloina o faʻataʻitaʻiga AI?

Fa'amatala ta'iala ma tapula'a mo le manuia, ona faia lea o se seti la'ititi o su'ega autu (pe tusa ma le 50–200 fa'ata'ita'iga) e atagia ai le fa'aaogaina moni. Fa'aopoopo seti pito ma seti feeseesea'i mo le saogalemu ma taumafaiga e tuiina. Fa'atino siaki otometi, ona fa'ata'ita'i lea o fa'ai'uga mo le togiina o le rubric a tagata. Fa'atusatusa le lelei vs tau vs latency vs saogalemu, fa'ata'ita'i ma se fa'asalalauga fa'atapula'a po'o le su'ega A/B, ma mata'ituina i le gaosiga mo le fe'avea'i ma le toe fo'i mai.

O a auala e masani ona fa'aseseina ai e 'au i latou lava i le iloiloga o fa'ata'ita'iga?

O mailei masani e aofia ai fa'atonuga fa'aleleia e fa'atino ai se fa'atusatusaga a'o mafatia tagata fa'aoga, fa'asalalauina o fa'atonuga iloiloga i totonu o a'oa'oga po'o le fa'aleleia atili o fa'amaumauga, ma le tapua'i i se fua fa'atatau e tasi e le o atagia ai le taua o le tagata fa'aoga. E le amana'ia fo'i e 'au le suiga o le tufatufaina atu, so'ona fa'asino i le "atamai" nai lo le tausisia o le fa'atulagaga ma le fa'amaoni, ma fa'ase'e le teena o le su'ega lelei. E mafai e fa'ata'ita'iga ona natia nei fa'afitauli, o lea ia fa'alagolago i iloiloga fa'atulagaina, ae le o le fa'amamafaina o reels.

Fa'asinomaga

  1. OpenAI - Taiala mo iloiloga a le OpenAI - platform.openai.com

  2. Inisetiute Fa'aleatunuu o Tulaga Fa'atonuina ma Tekonolosi (NIST) - Fa'avae o le Pulega o Lamatiaga Fa'ale-Atamai (AI RMF 1.0) - nist.gov

  3. OpenAI - openai/evals (fale teuoloa o le GitHub) - github.com

  4. scikit-learn - precision_recall_fscore_support - scikit-learn.org

  5. Asosi mo Gagana Fa'akomepiuta (ACL Anthology) - BLEU - aclanthology.org

  6. Asosi mo Gagana Fa'akomepiuta (ACL Anthology) - ROUGE - aclanthology.org

  7. arXiv - G-Eval - arxiv.org

  8. OWASP - LLM01: Tui vave - owasp.org

  9. OWASP - OWASP Top 10 mo Fa'aoga Fa'ata'ita'iga Gagana Tetele - owasp.org

  10. Iunivesite o Stanford - Kohavi et al., “Fa'ata'ita'iga fa'atonutonu i luga o le upega tafa'ilagi” - stanford.edu

  11. arXiv - Iloiloga o le RAG: O se Suʻesuʻega - arxiv.org

  12. PubMed Central (PMC) - Suʻesuʻega o le fesuiaʻiga o manatu (PMC) - nih.gov

  13. PubMed Central (PMC) - McHugh i luga o le kappa a Cohen - nih.gov

  14. Google - Tusiga Galuega a le SRE i le mataituina - google.workbook

Saili le AI Fou i le Faleoloa Aloaia o Fesoasoani AI

Faatatau ia tatou

Toe foʻi i le blog