Tali puupuu: O le fa'agasologa muamua o le AI o se seti o la'asaga e mafai ona toe faia e liua ai fa'amaumauga mata, maualuga le eseesega i ni fa'amaumauga tutusa o fa'ata'ita'iga, e aofia ai le fa'amamaina, fa'ailoga, fa'ateleina, fa'ailogaina, ma suiga o ata. E taua tele aua afai e eseese fa'amaumauga o a'oa'oga ma fa'amaumauga o gaosiga, e mafai ona toilalo fa'ata'ita'iga i se auala filemu. Afai e "a'oa'oina" e se la'asaga ni fa'asologa, fa'apipi'i i fa'amaumauga o a'oa'oga ina ia 'alofia ai le tafe.
O le fa'agasologa muamua o le AI o mea uma e te faia i fa'amaumauga mata a'o le'i (ma o nisi taimi i le taimi o a'oa'oga) po'o le fa'ai'uga ina ia mafai e se fa'ata'ita'iga ona a'oa'oina moni mai ai. E le na'o le "fa'amamaina". O le fa'amamaina, fa'atulagaina, fa'ateleina, fa'ailoga, fa'ateleina, ma le afifiina o fa'amaumauga i se fa'atusa tutusa e le fa'alavelaveina ai lau fa'ata'ita'iga mulimuli ane. [1]
Manatu autū:
Fa'amatalaga: O le fa'agasologa muamua e liua ai laulau mata, tusitusiga, ata, ma ogalaau i ni foliga ua saunia mo fa'ata'ita'iga.
Tumau: Fa'aaoga suiga tutusa i le taimi o a'oa'oga ma le fa'ai'uga e puipuia ai le le fetaui.
Leakage: Fa'apipi'i scalers, encoders, ma tokenisers i fa'amaumauga o a'oa'oga.
Toe gaosia: Fausia ni paipa fa'asolosolo ma fuainumera e mafai ona siakiina, ae le o ni fa'asologa fa'afuase'i o sela o le komepiuta feavea'i.
Mata'ituina o le gaosiga: Mata'ituina le pi'o ma le fe'avea'i ina ia 'aua ne'i fa'aitiitia malie e mea e fa'aoga mai ai le gaosiga le fa'atinoga.
O tala e te ono fia faitauina pe a uma lenei:
🔗 Auala e fa'ata'ita'i ai fa'ata'ita'iga AI mo le fa'atinoga moni o le lalolagi
Metotia aoga e vave iloilo ai le sa'o, malosi, ma le faaituau.
🔗 O le tusitusiga-i-le-tautala AI ma e faʻapefea ona galue
Fa'amatalaina ai mataupu faavae o le TTS, fa'aoga autū, ma tapula'a masani i aso nei.
🔗 E mafai e le AI ona faitau ma le sa'o le tusilima fa'asolo i aso nei
E aofia ai luʻitau o le iloaina, meafaigaluega sili ona lelei, ma fautuaga mo le saʻo.
🔗 E fa'apefea ona sa'o le AI i galuega masani
E fa'amatalaina ai mea taua o le sa'o, fa'atusatusaga, ma le fa'atuatuaina o mea moni.
Fa'agasologa muamua o le AI i se gagana faigofie (ma mea e lē o se gagana masani) 🤝
le fa'agasologa muamua o le AI o le liua lea o mea mata e ulufale mai ai (laulau, tusitusiga, ata, ogalaau) i ni foliga ua saunia mo fa'ata'ita'iga. Afai o fa'amaumauga mata o se faleta'avale palapalā, o le fa'agasologa muamua o lou fa'ailogaina lea o pusa, togiina o otaota malepelepe, ma fa'aputu mea ina ia mafai ona e savali ai e aunoa ma se manu'a.
E lē o le faʻataʻitaʻiga lava ia. O mea ia e mafai ai ona faia le faʻataʻitaʻiga:
-
liua o vaega i numera (tasi-vevela, faasologa, ma isi) [1]
-
fa'ateleina o vaega tetele o numera i vaega sane (fa'atulagaina, min-max, ma isi) [1]
-
fa'ailogaina o tusitusiga i totonu o ID fa'aofi (ma e masani lava o se ufimata o le mafaufau) [3]
-
toe fa'ateleina/tipiina o ata ma fa'aoga lelei suiga fa'atulagaina pe fa'atusatusa i suiga fa'afuase'i [4]
-
fausiaina o paipa e mafai ona toe faia ina ia aua ne'i eseese a'oa'oga ma mea e fa'aaogaina i le "olaga moni" i ni auala fa'alilolilo [2]
Tasi le fa'amatalaga aogā: o le "preprocessing" e aofia ai so'o se mea e tupu pea lava pea a'o le'i va'aia e le fa'ata'ita'iga le input. O nisi 'au e vaevaeina lenei mea i le "feature engineering" vs "data cleaning", ae i le olaga moni o na laina e le manino.
Aiseā e sili atu ai le tāua o le fa'agasologa muamua o le AI nai lo le mea e ta'utino mai e tagata 😬
O se faʻataʻitaʻiga o se faʻatusatusaga o mamanu, ae lē o se faitau mafaufau. Afai e lē tutusa au faʻamatalaga, e aʻoaʻoina e le faʻataʻitaʻiga tulafono e lē tutusa. E lē o se mea faʻafilosofia lenā, ae e matuā moni lava.
O le fa'agasologa muamua e fesoasoani ia te oe:
-
Fa'aleleia le mautu o le a'oa'oina e ala i le tu'uina o foliga i ni fa'atusa e mafai e le au fa'atatau ona fa'aogaina ma le fa'atuatuaina (aemaise lava pe a aofia ai le fa'atulagaina/fa'ailoga). [1]
-
Fa'aitiitia le pisa e ala i le fa'aalia o le mea moni fa'alavelave e pei o se mea e mafai e se fa'ata'ita'iga ona fa'alauteleina mai ai (nai lo le taulotoina o mea uiga ese).
-
Taofi ia faiga o le faaletonu filemu e pei o le tafe ma le le fetaui o le toleniga/au'aunaga (o le ituaiga e foliga "ofoofogia" i le fa'amaoniga ona sosoo ai lea ma foliga vaaia i le gaosiga). [2]
-
Fa'avavevave le faiga o suiga auā e sili atu le tele o suiga e mafai ona toe faia nai lo le notebook spaghetti i aso uma o le vaiaso.
E le gata i lea, o le mea lea e sau ai le tele o "fa'atinoga fa'ata'ita'i". E pei... e ofo ai le tele. O nisi taimi e foliga mai e le talafeagai, ae o le mea moni lena 🙃
O le ā le mea e faia ai se paipa lelei o le AI preprocessing ✅
O se "lomiga lelei" o le fa'agasologa muamua e masani ona i ai nei uiga:
-
E mafai ona toe gaosia: tutusa le mea e ulufale ai → tutusa le mea e alu i ai (leai se mea lilo e faafuaseʻi vagana ua faʻateleina ma le faʻamoemoeina).
-
Tutusa o le tautua i le nofoaafi: soo se mea e te faia i le taimi o aʻoaʻoga e faʻaaogaina i le auala lava e tasi i le taimi o le faʻaiʻuga (tutusa lava le fetaui o parakalafa, tutusa le faʻafanua o vaega, tutusa le faʻatulagaga o le tokenizer, ma isi mea faapena). [2]
-
Saogalemu mai le tafe: e leai se mea i le iloiloga/suega e aʻafia ai soʻo se
talafeagai. (O le a tele atu faʻamatalaga e uiga i lenei mailei i se taimi mulimuli ane.) [2] -
Matauina: e mafai ona e siakiina mea ua suia (fuainumera o foliga, mea ua misi, faitauga o vaega) o lea o le faia o mea sese e le o se inisinia e faavae i luga o vibes.
Afai o lau fa'agasologa muamua o se fa'aputuga o sela o le komepiuta feavea'i e ta'ua o le final_v7_really_final_ok… ua e iloa le auala. E galue se'ia o'o ina le toe galue 😬
O poloka autu o le fauina o le AI muamua 🧱
Mafaufau i le fa'agasologa muamua o se seti o poloka fau fale e te tu'ufa'atasia i totonu o se paipa.
1) Fa'amamāina ma le fa'amaoniaina 🧼
Galuega masani:
-
aveese mea e tutusa
-
taulimaina o tau o loʻo misi (faʻaitiitia, faʻaleaogaina, pe faʻaalia manino le misi)
-
fa'amalosia ituaiga, iunite, ma vaega
-
iloa ai mea e ulufale mai ua sese le faatulagaga
-
fa'atulagaina fa'atulagaga tusitusiga (avanoa pa'epa'e, tulafono o le fa'apipi'iina o mata'itusi, uiga fa'apitoa o le Unicode)
E lē o se vaega matagofie lenei, ae e puipuia ai mea sese matuā valea. Ou te fai atu lenei mea ma le alofa.
2) Fa'ailogaina o fa'amaumauga fa'avasega 🔤
E le mafai e le tele o faʻataʻitaʻiga ona faʻaaogaina saʻo ni manoa mata e pei o le "red" poʻo le "premium_user".
Auala masani:
-
Fa'ailoga vevela e tasi (vaega → koluma binary) [1]
-
Fa'asologa o le fa'ailoga (vaega → numera atoa ID) [1]
O le mea taua e le o le encoder e te filifilia - ae o le mea taua ia tumau pea le fa'afanua ma e le "suia le foliga" i le va o a'oa'oga ma le fa'ai'uga. O le auala lea e te maua ai se fa'ata'ita'iga e foliga lelei i fafo atu o le initaneti ma e pei o se fa'alavelave i luga ole initaneti. [2]
3) Fa'ateleina o foliga ma le fa'atulagaina 📏
E tāua le fa'ateleina o le fua pe afai o lo'o iai foliga i vaega eseese.
E lua tala masani:
-
Fa'atulagaina: aveese le averesi ma le fua i le eseesega o le iunite [1]
-
Fa'ateleina le la'ititi ma le maualuga: fa'ateleina foliga ta'itasi i totonu o se vaega fa'apitoa [1]
E tusa lava pe o e faʻaaogaina ni faʻataʻitaʻiga e "tele lava ina gafatia," o le faʻateleina e masani ona faigofie ai ona mafaufau i paipa - ma faigata ai ona motusia faʻafuaseʻi.
4) Fa'ainisinia o foliga (e ta'ua fo'i o le pepelo aoga) 🧪
O iinei e te faafaigofieina ai le galuega a le faataitaiga e ala i le fatuina o faailoilo sili atu:
-
fua fa'atatau (kiliki / fa'aaliga)
-
faamalama e feliuliua'i (N aso talu ai)
-
faitauga (mea tutupu i le tagata faʻaoga taʻitasi)
-
suiga o le log mo tufatufaga mamafa
E iai se faatufugaga iinei. O nisi taimi e te fatuina ai se ata, lagona le mitamita… ae leai se mea e fai. Pe sili atu le leaga, e tiga. O se mea masani lena. Aua le pipii faalelagona i ata - latou te le alolofa ia te oe 😅
5) Vaevaeina o faʻamaumauga i le auala saʻo ✂️
E foliga manino lava lenei se'ia vagana ua leai:
-
vaeluaga fa'afuase'i mo fa'amatalaga iid
-
vaeluaga fa'avae taimi mo fa'asologa taimi
-
vaeluaga fa'aputu pe a toe faia e vaega (tagata fa'aoga, masini, gasegase)
Ma le mea taua: vaevae a'o le'i fa'apipi'iina le preprocessing lea e a'oa'oina mai fa'amaumauga. Afai o lau la'asaga preprocessing e "a'oa'oina" ni fa'atulagaga (e pei o auala, upu, fa'afanua o vaega), e tatau ona a'oa'oina mai na'o a'oa'oga. [2]
Fa'agasologa muamua o le AI e ala i le ituaiga o fa'amaumauga: laulau, tusitusiga, ata 🎛️
E suia le foliga o le fa'agasologa muamua e fa'atatau i le mea e te fafagaina i le fa'ata'ita'iga.
Fa'amaumauga fa'ata'atia (spreadsheets, logs, databases) 📊
Laasaga masani:
-
fuafuaga taua ua misi
-
fa'ailoga fa'avasega [1]
-
fa'ateleina o koluma numera [1]
-
taulimaina o mea e le masani ai (e sili atu le tele o taimi nai lo tulafono o le 'upega tafaʻilagi le "fa'asolosolo fa'afuase'i")
-
foliga maua mai (fa'aputuga, fa'atuai, fuainumera fa'asolosolo)
Fautuaga aogā: fa'amatala manino vaega o koluma (numera vs fa'avasegaga vs fa'ailoga). O le a fa'afetai atu lou tagata i le lumana'i ia te oe.
Fa'amaumauga tusitusia (NLP) 📝
O le fa'agasologaina muamua o tusitusiga e masani ona aofia ai:
-
fa'aliliuina o fa'ailoga i fa'ailoga/upu laiti
-
liua i ID ulufale
-
fa'apupuna/fa'apu'upu'uina
-
ufimata e fa'atupu ai le gauai mo le fa'aputuina [3]
O se tulafono laʻititi e sefe ai le tiga: mo faʻatulagaga e faʻavae i luga o le transformer, mulimuli i faʻatulagaga tokenizer e faʻamoemoeina e le faʻataʻitaʻiga ma aua le freestyle seʻi vagana ua i ai sau mafuaʻaga. O le freestyle o le auala lea e te iʻu ai i le "e toleni ae e ese."
Ata (va'aiga fa'akomepiuta) 🖼️
Fa'agasologa muamua masani:
-
toe fua / tipi i foliga tutusa
-
suiga fa'atulagaina mo le iloiloga
-
suiga fa'afuase'i mo le fa'ateleina o a'oa'oga (e pei o le tipi fa'afuase'i) [4]
O se tasi o mea e misia e tagata: o "suiga fa'afuase'i" e le na'o se lagona - latou te fa'ata'ita'iina moni lava parakalafa i taimi uma e vala'auina ai. E sili ona lelei mo le a'oa'oina o le eseesega, e leaga mo le iloiloga pe afai e galo ia te oe ona tape le fa'afuase'i. [4]
O le mailei e pa'ū i ai tagata uma: le soloia o fa'amaumauga 🕳️🐍
O le tafe ese o faʻamatalaga mai faʻamaumauga o iloiloga e faʻatosina mai i totonu o aʻoaʻoga - e masani lava e ala i le faʻagasologa muamua. E mafai ona faʻaalia ai lau faʻataʻitaʻiga e foliga faʻataulāitu i le taimi o le faʻamaoniga, ona e faʻanoanoa ai lea i le lalolagi moni.
Fa'ata'ita'iga masani o le tafe:
-
fa'ateleina le fa'aaogaina o fuainumera atoa o fa'amaumauga (nai lo na'o a'oa'oga) [2]
-
fa'afanua o vaega o fale e fa'aaoga ai le train+test fa'atasi [2]
-
so'o se
fit()po'ole fit_transform()e "va'aia" le seti o su'ega [2]
Tulafono fa'avae (faigofie, sauā, aoga):
-
Soo se mea e iai se e fetaui lelei e tatau ona fetaui lelei i le taimi o toleniga.
-
Ona e fa'aliliuina o le fa'amaoniga/su'ega e fa'aaoga ai le transformer ua fa'apipi'i. [2]
Afai fo'i e te mana'o i se siaki toto'a "o le a le leaga e mafai ona i ai?": o pepa a le scikit-learn lava ia o lo'o fa'aalia ai se fa'ata'ita'iga o le tafega lea e maua ai e se fa'atonuga sese o le fa'agasologa muamua se sa'o e tusa ma le 0.76 i luga o sini fa'afuase'i-ona toe pa'ū lea i le ~0.5 pe a uma ona fa'asa'oina le tafega. O le auala lea e mafai ai ona foliga mai o le tafega sese. [2]
Fa'agasolo le fa'agasologa muamua i le gaosiga e aunoa ma se fa'alavelave 🏗️
E tele faʻataʻitaʻiga e le manuia i le gaosiga e lē ona e "leaga" le faʻataʻitaʻiga, ae ona e suia le mea moni e ulufale mai ai —pe ona e suia lau paipa.
O le fa'agasologa muamua e mafaufau i le gaosiga e masani ona aofia ai:
-
Meafaale ua sefeina (encoder mappings, scaler params, tokenizer config) o lea e faʻaaogaina ai e le inference ia lava suiga ua aʻoaʻoina [2]
-
Konekarate fa'aofi fa'amalosi (koluma/ituaiga/vaega e fa'amoemoeina)
-
Mata'ituina o le pi'o ma le fe'avea'i, auā o le a fe'avea'i fa'amaumauga o gaosiga [5]
Afai e te manaʻo i ni faʻamatalaga mautu: O le Vertex AI Model Monitoring a Google e faʻavasega ai le skew o le tautua aʻoaʻoga (e ese le tufatufaina o gaosiga mai aʻoaʻoga) ma le inference drift (e suia le tufatufaina o gaosiga i le aluga o taimi), ma lagolagoina le mataʻituina o vaega faʻavasega ma numera. [5]
Auā e taugata mea e ofo ai. Ae lē o le ituaiga e malie.
Siata fa'atusatusaga: meafaigaluega masani mo le fa'agasologa muamua + le mata'ituina (ma po'o ai e fa'aaogaina) 🧰
| Meafaigaluega / faletusi | Sili ona lelei mo | Tau | Aiseā e aogā ai (ma sina faamaoni itiiti) |
|---|---|---|---|
| scikit-aʻoaʻo le faʻagasologa muamua | Paipa ML fa'atulagaina | Sa'oloto | Fa'ailoga mautu + fa'ailoga fa'asolosolo (OneHotEncoder, StandardScaler, ma isi) ma amioga e mafai ona va'aia [1] |
| Fa'ailoga o le fusi o foliga | Sauniuniga o le ulufale atu o le NLP | Sa'oloto | E gaosia ai ID fa'aulufale + ufimata o le mafaufau i taimi uma i ta'amilosaga/fa'ata'ita'iga [3] |
| suiga o le torchvision | Suiga o le vaʻai + faʻateleina | Sa'oloto | Auala mama e fa'afefiloi ai suiga fa'atulagaina ma suiga fa'afuase'i i totonu o le tasi paipa [4] |
| Mata'ituina o le Fa'ata'ita'iga o le Vertex AI | Iloa o le fe'avea'i/skew i le prod | Totogi (ao) | O lo'o iai i mata'itu le skew/drift ma fa'ailoa pe a sopo'ia tulaga fa'atapula'a [5] |
(Ioe, o loo i ai pea manatu i le laulau. Ae o manatu faamaoni lava 😅)
O se lisi siaki aoga mo le fa'agasologa muamua e mafai ona e fa'aogaina 📌
A'o le'i faia a'oa'oga
-
Fa'amatala se fa'atulagaga fa'aofi (ituaiga, iunite, vaega fa'atagaina)
-
Su'esu'e tau o lo'o misi ma fa'aluaina
-
Vaevae fa'amaumauga i le auala sa'o (fa'afuase'i / fa'avae i le taimi / fa'aputuina)
-
Fa'agasologa muamua o le Fit i a'oa'oga (
fit/fit_transformtumau i luga o le nofoaafi) [2] -
Se'i fa'asaoina mea taua o lo'o fa'agasolo muamua ina ia mafai ona toe fa'aaogaina le fa'ai'uga [2]
I le taimi o aʻoaʻoga
-
Fa'aoga le fa'aopoopoga fa'afuase'i pe a talafeagai (e masani lava na'o le vaeluaga o a'oa'oga) [4]
-
Ia fa'aauau pea ona fa'atinoina le iloiloga i se tulaga mautu [4]
-
Siaki suiga o le fa'agasologa muamua e pei o suiga o le fa'ata'ita'iga (auā o le mea moni)
A'o le'i fa'atinoina
-
Ia mautinoa o loʻo faʻaaogaina e le faʻaiʻuga le auala tutusa o le faʻagasologa muamua ma mea taua [2]
-
Fa'atulaga le mata'ituina o le fe'avea'i/skew (e o'o lava i siaki fa'avae o le tufatufaina o foliga e aoga tele) [5]
Su'esu'ega loloto: mea sese masani i le fa'agasologa muamua (ma le auala e 'alo 'ese ai) 🧯
Sese 1: “O le a ou vave faʻatulaga mea uma i se tulaga masani” 😵
Afai e te fa'atatauina parakalafa fa'atulagaina i luga o le fa'amaumauga atoa, o lo'o e fa'asalalauina fa'amatalaga iloiloga. Fa'atulaga lelei, fa'aliliu le vaega o totoe. [2]
Sese 2: vaega ua tafe atu i le vevesi 🧩
Afai e suia lau fa'afanua o vaega i le va o a'oa'oga ma le fa'ai'uga, e mafai e lau fa'ata'ita'iga ona sese le faitauina o le lalolagi. Ia fa'amautu pea fa'afanua e ala i mea ua sefeina. [2]
Sese 3: fa'aopoopoga fa'afuase'i e totolo atu i le iloiloga 🎲
E matagofie tele suiga fa'afuase'i i a'oa'oga, ae e le tatau ona "fa'alilolilo" pe a e taumafai e fuaina le fa'atinoga. (O le fa'afuase'i o lona uiga o le fa'afuase'i.) [4]
Fa'amatalaga Fa'ai'u 🧠✨
O le fa'agasologa muamua o le AI o le tomai fa'apitoa lea o le liua o mea moni fa'aletonu i ni fa'aulufalega tutusa o fa'ata'ita'iga. E aofia ai le fa'amamaina, fa'ailogaina, fa'ateleina, fa'ailogaina, suiga o ata, ma le mea e sili ona taua-o paipa ma mea totino e mafai ona toe faia.
-
Ia faia le fa'agasologa muamua ma le fa'aeteete, ae aua le fa'atamala. [2]
-
Vaeluaina muamua, fa'afetaui suiga i taimi o a'oa'oga, 'alo'ese mai le tafe. [2]
-
Faaaoga le fa'agasologa muamua e talafeagai ma le auala (tokenizers mo tusitusiga, transforms mo ata). [3][4]
-
Mata'ituina le fa'aletonu/fe'avea'i o le gaosiga ina ia 'aua ne'i fa'asolosolo malie ona se'e lau fa'ata'ita'iga i mea e leai se aoga. [5]
Afai fo'i e te faigata ona fai, fesili ifo ia te oe lava:
“E aoga pea lenei la'asaga o le fa'agasologa muamua pe a ou fa'atinoina taeao i fa'amaumauga fou?”
Afai o le tali o le “uhh… atonu?”, o lau fa'ailo lea 😬
Faʻataʻitaʻiga moni: Fausiaina o se paipa faʻagasologa muamua e saogalemu mai le tafe mo le vavaloina o le churn
Tulaga
Se'i va'ai faalemafaufau i se 'au SaaS la'ititi o lo'o taumafai e vavalo po'o ai tagata fa'atau e ono fa'aleaogaina i le isi 30 aso. O a latou fa'amatalaga mata e iai i nofoaga e tolu: o pili e auina atu i fafo, o fa'amaumauga o le fa'aaogaina o oloa, ma pepa lagolago.
O le uluaʻi lomiga o le faʻataʻitaʻiga e foliga lelei tele i le faʻamaoniga, ae e le lelei le faʻatinoga pe a faʻataʻitaʻiina i se masina fou o tagata faʻatau. O le faʻafitauli e le o le fausaga o le faʻataʻitaʻiga. O le faʻagasologa muamua.
Na fa'afuase'i ona fa'ateleina e le 'au foliga fa'afuainumera e fa'aaoga ai le fa'amaumauga atoa, fausia fa'afanua o vaega mai fa'amaumauga o nofoaafi ma fa'amaumauga o su'ega fa'atasi, ma aofia ai fa'ailoga lagolago-tiketi na fa'aopoopoina pe a uma ona fa'aleaogaina. O le tafe masani. Tiga, ae mafai ona fa'aleleia. [2]
O mea e manaʻomia e le paipa
O se faʻatulagaga aogā e aofia ai:
-
O se fa'atulagaga fa'aofi tumau: customer_id, plan_type, account_age_days, logins_30d, tickets_30d, last_payment_status, region
-
O se vaeluaga e faʻavae i le taimi, e pei o aʻoaʻoga ia Ianuari-Setema ma suega ia Oketopa
-
Fa'atulagaina numera e na'o le vaeluaga o a'oa'oga e fa'apipi'i
-
O fa'ailoga fa'avasega ua fa'apipi'iina na'o le vaeluaga o a'oa'oga
-
O se paipa fa'agasologa muamua ua sefeina ina ia fa'aogaina e le gaosiga ia fa'afanua tutusa ma tau fa'atulagaina
-
Mata'ituina fa'avae mo koluma ua misi, vaega e le'i va'aia, ma suiga o le tufatufaina atu pe a uma ona fa'apipi'i
O le tulafono autū e faigofie: vaevae muamua, ona sosoo ai lea ma le fa'atulagaina muamua. So'o se mea e a'oa'oina mai fa'amaumauga e tatau ona a'oa'oina na'o le vaitaimi o a'oa'oga. [2]
Fa'atonuga fa'ata'ita'i
Faaaoga lenei mea e fai ma fa'amatalaga mo le la'asaga o le fa'agasologa muamua:
Fausia se paipa fa'agasolo muamua mo se fa'ata'ita'iga vavalo o le churn e fa'aaoga ai pili a tagata fa'atau, fa'aaogaina, ma fa'amatalaga lagolago. Vaevae fa'amaumauga i le taimi a'o le'i fa'apipi'iina ni transformers. Fa'apipi'i numera scalers ma categorical encoders i luga o fa'amaumauga a'oa'oga, ona fa'aoga lea o na suiga ua fetaui i fa'amaumauga fa'amaonia ma fa'ata'ita'iga. Sefe mea uma o lo'o fa'agasolo muamua ina ia fa'aaoga e le fa'ata'ita'iga gaosiga le schema tutusa, fa'afanua o vaega, ma parakalafa fa'asolosolo. Fa'ailoga koluma o lo'o misi, ituaiga fa'amaumauga e le'i mafaufauina, vaega e le'i va'aia, ma suiga tetele o le tufatufaina a'o le'i faia le vavalo.
Auala e fa'ata'ita'i ai
A'o le'i fa'atuatuaina le fa'ata'ita'iga, fa'ata'ita'i le paipa fa'agasolo muamua i ni nai fa'amaumauga faigata ma le fa'aeteete:
-
O se tagata fa'atau i se ituaiga fuafuaga e le'i iai i le taimi o a'oa'oga
-
O se laina e leai se itulagi po'o le last_payment_status
-
O se tagata faʻatau e masani ona faʻaaogaina tele, e pei o le 10,000 ulufale i totonu o le 30 aso
-
O se faila fa'a-gaosiga e iai koluma i le fa'asologa sese
-
O se seti suega mo le masina fou e leʻi faʻaaogaina lava i le taimi o le faʻapipiʻiina
Ona siaki lea o mea e tolu:
-
E fa'agaoioia le paipa e aunoa ma le suia o le fa'asologa o foliga?
-
Pe o taulimaina pea vaega e le o iloa?
-
Pe pa'ū ea le faatinoga o le faamaoniga i se tulaga e sili atu ona talitonuina pe a uma ona aveese le tafega o le vai?
E tāua le manatu mulimuli. O se togi fa'amaonia e masalomia le maualuga e masani lava o se manogi o le fa'agasologa muamua, ae le o se vavega.
I'uga
O le fa'ai'uga fa'ata'ita'i, e fa'avae i luga o le taimi e lima fa'ata'ita'iga o le fa'agasologa muamua a'o le'i ma ina ua mae'a ona liua la'asaga o le api tala i se paipa ua sefeina:
-
Na faʻaitiitia le taimi e faʻagasolo ai muamua le faʻamaumauga mai le 55 minute i le faʻafouga taʻitasi i le 8 minute.
-
Ua pa'ū ifo mea sese o le fa'asologa o foliga mai le 3 mea sese i le 5 fa'afouga o su'ega i le 0 mea sese i le 5 fa'afouga.
-
Na pa'ū le sa'o o le fa'amaoniga mai le 91% i le 74% ina ua uma ona aveese le tafe, ae na fa'aleleia le sa'o o le su'ega i le masina fou mai le 62% i le 71%.
-
Na fa'aopoopo e le 'au siaki otometi e 6: koluma ua misi, ituaiga e le aoga, vaega e le'i va'aia, suiga o le fua faatatau leai se aoga, suiga o le vaega numera, ma le le fetaui o le fa'atulagaga o le tautua i le va o nofoaafi.
O nei fuainumera e lē o se faʻatusatusaga lautele. O le ituaiga fua faigofie ia o le taimi aʻo leʻi faia ma le taimi ina ua maeʻa le faʻatinoga e mafai e se 'au ona toe faia e ala i le taimi o faʻafouga, faitauina o taʻaloga e leʻi manuia, ma faʻatusatusa taunuʻuga o le faʻamaoniga ma se masina o lumanaʻi o loʻo taofia.
O a mea e ono sese
O le lamatiaga tele o le faia lea o le paipa e foliga mamā a'o puipuia filemu le tafega. Mo se fa'ata'ita'iga, "aso talu mai le imeli mulimuli o le lapataiga o le faalēaogāina" atonu e foliga taua, ae afai e auina atu lena imeli pe a uma ona faia se iloiloga i totonu o le churn, atonu e tafe atu ai fa'amatalaga i le lumana'i.
Isi mailei masani:
-
Toe fa'apipi'i o encoders i le gaosiga nai lo le fa'apipi'iina o fa'afanua ua sefeina
-
Tu'u vaega fou e sui filemu tulaga o foliga
-
Su'ega i luga o se vaeluaga fa'afuase'i pe a fa'avae le galuega moni i le taimi
-
Fa'apa'ūina o laina e misi ai tau i le a'oa'oga ae le taulimaina i le fa'ai'uga
-
Mata'ituina le sa'o o le fa'ata'ita'iga a'o le amana'iaina le fesuia'iga o mea na ulufale mai
Mea'ai aogā e 'ai fua
O se paipa lelei o le fa'agasologa muamua e sili atu nai lo le fa'amamaina o fa'amaumauga mata. E puipuia ai le fa'ata'ita'iga mai le iloiloga leaga, mea e ulufale mai ai le gaosiga e le lelei, ma le fe'avea'i filemu. Mo se fa'ata'ita'iga o le churn, o le eseesega i le va o le fa'agasologa muamua atamai ma le fa'agasologa muamua fa'atuatuaina e masani ona mafua mai i le toe fa'aaogaina o suiga tutusa e fetaui i taimi uma, aemaise lava pe a sau fa'amaumauga mai se masina e le'i va'aia muamua e le fa'ata'ita'iga.
Fesili e Masani Ona Fesiligia
O le ā le AI preprocessing, i se faaupuga faigofie?
O le fa'agasologa muamua o le AI o se seti o la'asaga e mafai ona toe faia e liua ai fa'amaumauga mata e pisapisao ma maualuga le eseesega i ni fa'aulufalega tutusa e mafai e se fa'ata'ita'iga ona a'oa'oina mai ai. E mafai ona aofia ai le fa'amamaina, fa'amaonia, fa'ailogaina o vaega, fa'ateleina o numera, fa'ailogaina o tusitusiga, ma le fa'aogaina o suiga o ata. O le sini ia fa'amautinoa o a'oa'oga ma le gaosiga o le gaosiga e va'aia le "ituaiga tutusa" o fa'aulufalega, ina ia le se'e ese le fa'ata'ita'iga i amioga e le mafai ona vavaloina mulimuli ane.
Aiseā e tāua tele ai le fa'agasologa muamua o le AI i le gaosiga?
E tāua le fa'agasologa muamua auā e maaleale fa'ata'ita'iga i le fa'atusa o mea e ulufale mai. Afai e fa'ateleina, fa'ailogaina, fa'ailogaina, pe suia fa'amatalaga o a'oa'oga i se auala ese mai fa'amatalaga o gaosiga, e mafai ona e maua ni fa'aletonu o le fetaui o le a'oa'oga/ tautua e foliga lelei i fafo atu o le initaneti ae fa'aletonu filemu i luga ole initaneti. O paipa malolosi o le fa'agasologa muamua e fa'aitiitia ai fo'i le pisa, fa'aleleia atili ai le mautu o le a'oa'oina, ma fa'avavevave ai le toe fa'agasologa auā e te le o fa'asa'olotoina le fa'alavelave o le spaghetti notebook.
E fa'apefea ona ou 'alofia le sosolo o fa'amaumauga pe a fa'agasolo muamua?
E aoga se tulafono faigofie: so'o se mea e iai se talafeagai e tatau ona fetaui i fa'amaumauga o a'oa'oga. E aofia ai scalers, encoders, ma tokeniser e a'oa'oina ni parameters e pei o means, category maps, po'o vocabularies. E te vaevaeina muamua, fetaui i le training split, ona fa'aliliu lea o le validation/test e fa'aaoga ai le fitted transformer. O le leakage e mafai ona fa'alelei ai le fa'amaoniga ma fa'aitiitia ai le aoga i le gaosiga.
O a la'asaga masani o le fa'agasologa muamua mo fa'amaumauga fa'afanua?
Mo faʻamaumauga faʻatulagaina, o le paipa masani e aofia ai le faʻamamaina ma le faʻamaonia (ituaiga, vaega, tau o loʻo misi), faʻailoga faʻavasega (tasi-vevela poʻo le faʻasologa), ma le faʻatulagaina numera (faʻatulagaina poʻo le min-max). O le tele o paipa e faʻaopoopoina ai le inisinia o foliga faʻavae-domain e pei o fua faʻatatau, faʻamalama faʻataʻamilomilo, poʻo faitauga. O se masaniga aoga o le faʻamatalaina manino lea o vaega o koluma (numeric vs categorical vs identifiers) ina ia tumau pea au suiga.
E faʻapefea ona galue le faʻagasologa muamua mo faʻataʻitaʻiga tusitusiga?
O le fa'agasologa muamua o tusitusiga e masani ona fa'auigaina o le fa'ailogaina i tokens/subwords, liua i latou i input IDs, ma le taulimaina o le padding/truncation mo le batching. O le tele o galuega fa'aliliu e faia ai fo'i se ufimata o le mafaufau fa'atasi ai ma IDs. O se auala masani o le fa'aogaina lea o le fa'atulagaga o le tokenizer e fa'amoemoeina o le fa'ata'ita'iga nai lo le fa'ata'ita'iina, aua o eseesega laiti i fa'atulagaga o le tokeniser e mafai ona o'o atu ai i le "toleni ae amio e le'i mafaufauina".
O le ā le eseesega e uiga i le fa'agasologa muamua o ata mo le a'oa'oina o masini?
O le fa'agasologa muamua o ata e masani ona fa'amautinoa ai foliga tutusa ma le taulimaina o pixel: toe fa'aleleia/tipiina, fa'atulagaina, ma se vaeluaga manino i le va o suiga fa'atulagaina ma suiga fa'afuase'i. Mo le iloiloga, e tatau ona fa'atulagaina suiga ina ia tutusa fua fa'atatau. Mo a'oa'oga, o le fa'ateleina fa'afuase'i (e pei o seleselega fa'afuase'i) e mafai ona fa'aleleia atili ai le malosi, ae o le fa'afuase'i e tatau ona fa'atatauina ma le fa'amoemoe i le vaeluaga o a'oa'oga, ae le o le tu'ua fa'afuase'i i le taimi o le iloiloga.
O le ā le mea e "lelei" ai se paipa o loʻo faʻagasolo muamua nai lo le vaivai?
O se paipa lelei a le AI preprocessing e mafai ona toe gaosia, saogalemu mai le tafe, ma mafai ona matauina. O le toe gaosia o lona uiga o le input tutusa e maua ai le output tutusa vagana ua faʻateleina faʻamoemoeina le faʻafuaseʻi. O le saogalemu mai le tafe o lona uiga o laʻasaga fetaui e le paʻi atu i le faʻamaoniga/suʻega. O le Observable o lona uiga e mafai ona e siakiina fuainumera e pei o le misi, faitauga o vaega, ma tufatufaina o foliga o lea e faʻavae ai le debugging i faʻamaoniga, ae le o le lagona o le loto. O paipa e sili atu nai lo faʻasologa o api talaaga faʻapitoa i taimi uma.
E faʻapefea ona ou faʻaauau pea ona tutusa aʻoaʻoga ma le faʻagasologa muamua o faʻaiʻuga?
O le ki autū o le toe fa'aaogaina lea o mea totino tutusa ua a'oa'oina i le taimi e faia ai le fa'ai'uga: o parakalafa fa'asolosolo, fa'afanua o le encoder, ma fa'atulagaga o le tokenizer. E te mana'o fo'i i se konekarate fa'aofi (koluma, ituaiga, ma vaega e fa'amoemoeina) ina ia le mafai ai e fa'amatalaga gaosiga ona fe'avea'i fa'alilolilo i foliga le aoga. O le tutusa e le na'o le "faia o la'asaga tutusa" - ae o le "faia o la'asaga tutusa ma parakalafa ma fa'afanua tutusa ua fetaui."
E faʻapefea ona ou mataʻituina faʻafitauli o le faʻagasologa muamua e pei o le feʻaveaʻi ma le piʻopiʻo i le aluga o taimi?
E tusa lava pe mautu le faiga o le gaosiga, e suia lava faʻamaumauga o le gaosiga. O se auala masani o le mataʻituina lea o suiga o le tufatufaina atu o vaega ma lapatai atu i le faʻaletonu o le tautua aʻoaʻoga (e ese le gaosiga mai le aʻoaʻoga) ma le fesuiaʻiga o le gaosiga i le aluga o taimi). E mafai ona mama le mataʻituina (siakiina masani o le tufatufaina atu) pe pulea (e pei o le Vertex AI Model Monitoring). O le sini ia vave ona puʻeina suiga o mea e ulufale mai ai - aʻo leʻi faʻaitiitia malie le faʻatinoga o le faʻataʻitaʻiga.
Fa'asinomaga
[1] scikit-learn API: sklearn.preprocessing (encoders, scalers, normalization)
[2] scikit-learn: Fa'afitauli masani - Fa'asalalauina o fa'amatalaga ma le auala e 'alo 'ese ai
[3] Pepa o Transformers o le Hugging Face: Tokenizers (input IDs, attention masks)
[4] Pepa o le PyTorch Torchvision: Transforms (Resize/Normalize + random transforms)
[5] Pepa o le Google Cloud Vertex AI: Model Monitoring overview (feature skew & drift)