O le ā le Fa'agasologa Muamua a le AI?

O le ā le Fa'agasologa Muamua a le AI?

Tali puupuu: O le fa'agasologa muamua o le AI o se seti o la'asaga e mafai ona toe faia e liua ai fa'amaumauga mata, maualuga le eseesega i ni fa'amaumauga tutusa o fa'ata'ita'iga, e aofia ai le fa'amamaina, fa'ailoga, fa'ateleina, fa'ailogaina, ma suiga o ata. E taua tele aua afai e eseese fa'amaumauga o a'oa'oga ma fa'amaumauga o gaosiga, e mafai ona toilalo fa'ata'ita'iga i se auala filemu. Afai e "a'oa'oina" e se la'asaga ni fa'asologa, fa'apipi'i i fa'amaumauga o a'oa'oga ina ia 'alofia ai le tafe.

O le fa'agasologa muamua o le AI o mea uma e te faia i fa'amaumauga mata a'o le'i (ma o nisi taimi i le taimi o a'oa'oga) po'o le fa'ai'uga ina ia mafai e se fa'ata'ita'iga ona a'oa'oina moni mai ai. E le na'o le "fa'amamaina". O le fa'amamaina, fa'atulagaina, fa'ateleina, fa'ailoga, fa'ateleina, ma le afifiina o fa'amaumauga i se fa'atusa tutusa e le fa'alavelaveina ai lau fa'ata'ita'iga mulimuli ane. [1]

Manatu autū:

Fa'amatalaga : O le fa'agasologa muamua e liua ai laulau mata, tusitusiga, ata, ma ogalaau i ni foliga ua saunia mo fa'ata'ita'iga.

Tumau : Fa'aaoga suiga tutusa i le taimi o a'oa'oga ma le fa'ai'uga e puipuia ai le le fetaui.

Leakage : Fa'apipi'i scalers, encoders, ma tokenisers i fa'amaumauga o a'oa'oga.

Toe gaosia : Fausia ni paipa fa'asolosolo ma fuainumera e mafai ona siakiina, ae le o ni fa'asologa fa'afuase'i o sela o le komepiuta feavea'i.

Mata'ituina o le gaosiga : Mata'ituina le pi'o ma le fe'avea'i ina ia 'aua ne'i fa'aitiitia malie e mea e fa'aoga mai ai le gaosiga le fa'atinoga.

O tala e te ono fia faitauina pe a uma lenei:

🔗 Auala e fa'ata'ita'i ai fa'ata'ita'iga AI mo le fa'atinoga moni o le lalolagi
Metotia aoga e vave iloilo ai le sa'o, malosi, ma le faaituau.

🔗 O le tusitusiga-i-le-tautala AI ma e faʻapefea ona galue
Fa'amatalaina ai mataupu faavae o le TTS, fa'aoga autū, ma tapula'a masani i aso nei.

🔗 E mafai e le AI ona faitau ma le sa'o le tusilima fa'asolo i aso nei
E aofia ai luʻitau o le iloaina, meafaigaluega sili ona lelei, ma fautuaga mo le saʻo.

🔗 E fa'apefea ona sa'o le AI i galuega masani
E fa'amatalaina ai mea taua o le sa'o, fa'atusatusaga, ma le fa'atuatuaina o mea moni.

Fa'agasologa muamua o le AI i se gagana faigofie (ma mea e lē o se gagana masani) 🤝

le fa'agasologa muamua o le AI o le liua lea o mea mata e ulufale mai ai (laulau, tusitusiga, ata, ogalaau) i ni foliga ua saunia mo fa'ata'ita'iga. Afai o fa'amaumauga mata o se faleta'avale palapalā, o le fa'agasologa muamua o lou fa'ailogaina lea o pusa, togiina o otaota malepelepe, ma fa'aputu mea ina ia mafai ona e savali ai e aunoa ma se manu'a.

E lē o le faʻataʻitaʻiga lava ia. O mea ia e mafai ai ona faia le faʻataʻitaʻiga:

  • liua o vaega i numera (tasi-vevela, faasologa, ma isi) [1]

  • fa'ateleina o vaega tetele o numera i vaega sane (fa'atulagaina, min-max, ma isi) [1]

  • fa'ailogaina o tusitusiga i totonu o ID fa'aofi (ma e masani lava o se ufimata o le mafaufau) [3]

  • toe fa'ateleina/tipiina o ata ma fa'aoga lelei suiga fa'atulagaina pe fa'atusatusa i suiga fa'afuase'i [4]

  • fausiaina o paipa e mafai ona toe faia ina ia aua ne'i eseese a'oa'oga ma mea e fa'aaogaina i le "olaga moni" i ni auala fa'alilolilo [2]

Tasi le fa'amatalaga aogā: o le "preprocessing" e aofia ai so'o se mea e tupu pea lava pea a'o le'i va'aia e le fa'ata'ita'iga le input . O nisi 'au e vaevaeina lenei mea i le "feature engineering" vs "data cleaning", ae i le olaga moni o na laina e le manino.

 

Fa'agasologa Muamua o le AI

Aiseā e sili atu ai le tāua o le fa'agasologa muamua o le AI nai lo le mea e ta'utino mai e tagata 😬

O se faʻataʻitaʻiga o se faʻatusatusaga o mamanu, ae lē o se faitau mafaufau. Afai e lē tutusa au faʻamatalaga, e aʻoaʻoina e le faʻataʻitaʻiga tulafono e lē tutusa. E lē o se mea faʻafilosofia lenā, ae e matuā moni lava.

O le fa'agasologa muamua e fesoasoani ia te oe:

  • Fa'aleleia le mautu o le a'oa'oina e ala i le tu'uina o foliga i ni fa'atusa e mafai e le au fa'atatau ona fa'aogaina ma le fa'atuatuaina (aemaise lava pe a aofia ai le fa'atulagaina/fa'ailoga). [1]

  • Fa'aitiitia le pisa e ala i le fa'aalia o le mea moni fa'alavelave e pei o se mea e mafai e se fa'ata'ita'iga ona fa'alauteleina mai ai (nai lo le taulotoina o mea uiga ese).

  • Taofi ia faiga o le faaletonu filemu e pei o le tafe ma le le fetaui o le toleniga/au'aunaga (o le ituaiga e foliga "ofoofogia" i le fa'amaoniga ona sosoo ai lea ma foliga vaaia i le gaosiga). [2]

  • Fa'avavevave le faiga o suiga auā e sili atu le tele o suiga e mafai ona toe faia nai lo le notebook spaghetti i aso uma o le vaiaso.

E le gata i lea, o le mea lea e sau ai le tele o "fa'atinoga fa'ata'ita'i". E pei... e ofo ai le tele. O nisi taimi e foliga mai e le talafeagai, ae o le mea moni lena 🙃

O le ā le mea e faia ai se paipa lelei o le AI preprocessing ✅

O se "lomiga lelei" o le fa'agasologa muamua e masani ona i ai nei uiga:

  • E mafai ona toe gaosia : tutusa le mea e ulufale ai → tutusa le mea e alu i ai (leai se mea lilo e faafuaseʻi vagana ua faʻateleina ma le faʻamoemoeina).

  • Tutusa o le tautua i le nofoaafi : soo se mea e te faia i le taimi o aʻoaʻoga e faʻaaogaina i le auala lava e tasi i le taimi o le faʻaiʻuga (tutusa lava le fetaui o parakalafa, tutusa le faʻafanua o vaega, tutusa le faʻatulagaga o le tokenizer, ma isi mea faapena). [2]

  • Saogalemu mai le tafe : e leai se mea i le iloiloga/suega e aʻafia ai soʻo se talafeagai . (O le a tele atu faʻamatalaga e uiga i lenei mailei i se taimi mulimuli ane.) [2]

  • Matauina : e mafai ona e siakiina mea ua suia (fuainumera o foliga, mea ua misi, faitauga o vaega) o lea o le faia o mea sese e le o se inisinia e faavae i luga o vibes.

Afai o lau fa'agasologa muamua o se fa'aputuga o sela o le komepiuta feavea'i e ta'ua o le final_v7_really_final_ok … ua e iloa le auala. E galue se'ia o'o ina le toe galue 😬

O poloka autu o le fauina o le AI muamua 🧱

Mafaufau i le fa'agasologa muamua o se seti o poloka fau fale e te tu'ufa'atasia i totonu o se paipa.

1) Fa'amamāina ma le fa'amaoniaina 🧼

Galuega masani:

  • aveese mea e tutusa

  • taulimaina o tau o loʻo misi (faʻaitiitia, faʻaleaogaina, pe faʻaalia manino le misi)

  • fa'amalosia ituaiga, iunite, ma vaega

  • iloa ai mea e ulufale mai ua sese le faatulagaga

  • fa'atulagaina fa'atulagaga tusitusiga (avanoa pa'epa'e, tulafono o le fa'apipi'iina o mata'itusi, uiga fa'apitoa o le Unicode)

E lē o se vaega matagofie lenei, ae e puipuia ai mea sese matuā valea. Ou te fai atu lenei mea ma le alofa.

2) Fa'ailogaina o fa'amaumauga fa'avasega 🔤

E le mafai e le tele o faʻataʻitaʻiga ona faʻaaogaina saʻo ni manoa mata e pei o le "red" poʻo le "premium_user" .

Auala masani:

  • Fa'ailoga vevela e tasi (vaega → koluma binary) [1]

  • Fa'asologa o le fa'ailoga (vaega → numera atoa ID) [1]

O le mea taua e le o le encoder e te filifilia - ae o le mea taua ia tumau pea le fa'afanua ma e le "suia le foliga" i le va o a'oa'oga ma le fa'ai'uga. O le auala lea e te maua ai se fa'ata'ita'iga e foliga lelei i fafo atu o le initaneti ma e pei o se fa'alavelave i luga ole initaneti. [2]

3) Fa'ateleina o foliga ma le fa'atulagaina 📏

E tāua le fa'ateleina o le fua pe afai o lo'o iai foliga i vaega eseese.

E lua tala masani:

  • Fa'atulagaina : aveese le averesi ma le fua i le eseesega o le iunite [1]

  • Fa'ateleina le la'ititi ma le maualuga : fa'ateleina foliga ta'itasi i totonu o se vaega fa'apitoa [1]

E tusa lava pe o e faʻaaogaina ni faʻataʻitaʻiga e "tele lava ina gafatia," o le faʻateleina e masani ona faigofie ai ona mafaufau i paipa - ma faigata ai ona motusia faʻafuaseʻi.

4) Fa'ainisinia o foliga (e ta'ua fo'i o le pepelo aoga) 🧪

O iinei e te faafaigofieina ai le galuega a le faataitaiga e ala i le fatuina o faailoilo sili atu:

  • fua fa'atatau (kiliki / fa'aaliga)

  • faamalama e feliuliua'i (N aso talu ai)

  • faitauga (mea tutupu i le tagata faʻaoga taʻitasi)

  • suiga o le log mo tufatufaga mamafa

E iai se faatufugaga iinei. O nisi taimi e te fatuina ai se ata, lagona le mitamita… ae leai se mea e fai. Pe sili atu le leaga, e tiga. O se mea masani lena. Aua le pipii faalelagona i ata - latou te le alolofa ia te oe 😅

5) Vaevaeina o faʻamaumauga i le auala saʻo ✂️

E foliga manino lava lenei se'ia vagana ua leai:

  • vaeluaga fa'afuase'i mo fa'amatalaga iid

  • vaeluaga fa'avae taimi mo fa'asologa taimi

  • vaeluaga fa'aputu pe a toe faia e vaega (tagata fa'aoga, masini, gasegase)

Ma le mea taua: vaevae a'o le'i fa'apipi'iina le preprocessing lea e a'oa'oina mai fa'amaumauga . Afai o lau la'asaga preprocessing e "a'oa'oina" ni fa'atulagaga (e pei o auala, upu, fa'afanua o vaega), e tatau ona a'oa'oina mai na'o a'oa'oga. [2]

Fa'agasologa muamua o le AI e ala i le ituaiga o fa'amaumauga: laulau, tusitusiga, ata 🎛️

E suia le foliga o le fa'agasologa muamua e fa'atatau i le mea e te fafagaina i le fa'ata'ita'iga.

Fa'amaumauga fa'ata'atia (spreadsheets, logs, databases) 📊

Laasaga masani:

  • fuafuaga taua ua misi

  • fa'ailoga fa'avasega [1]

  • fa'ateleina o koluma numera [1]

  • taulimaina o mea e le masani ai (e sili atu le tele o taimi nai lo tulafono o le 'upega tafaʻilagi le "fa'asolosolo fa'afuase'i")

  • foliga maua mai (fa'aputuga, fa'atuai, fuainumera fa'asolosolo)

Fautuaga aogā: fa'amatala manino vaega o koluma (numera vs fa'avasegaga vs fa'ailoga). O le a fa'afetai atu lou tagata i le lumana'i ia te oe.

Fa'amaumauga tusitusia (NLP) 📝

O le fa'agasologaina muamua o tusitusiga e masani ona aofia ai:

  • fa'aliliuina o fa'ailoga i fa'ailoga/upu laiti

  • liua i ID ulufale

  • fa'apupuna/fa'apu'upu'uina

  • ufimata e fa'atupu ai mo le fa'aputuina [3]

O se tulafono laʻititi e sefe ai le tiga: mo faʻatulagaga e faʻavae i luga o le transformer, mulimuli i faʻatulagaga tokenizer e faʻamoemoeina e le faʻataʻitaʻiga ma aua le freestyle seʻi vagana ua i ai sau mafuaʻaga. O le freestyle o le auala lea e te iʻu ai i le "e toleni ae e ese."

Ata (va'aiga fa'akomepiuta) 🖼️

Fa'agasologa muamua masani:

  • toe fua / tipi i foliga tutusa

  • suiga fa'atulagaina mo le iloiloga

  • suiga fa'afuase'i mo le fa'ateleina o a'oa'oga (e pei o le tipi fa'afuase'i) [4]

O se tasi o mea e misia e tagata: o "suiga fa'afuase'i" e le na'o se lagona - latou te fa'ata'ita'iina moni lava parakalafa i taimi uma e vala'auina ai. E sili ona lelei mo le a'oa'oina o le eseesega, e leaga mo le iloiloga pe afai e galo ia te oe ona tape le fa'afuase'i. [4]

O le mailei e pa'ū i ai tagata uma: le soloia o fa'amaumauga 🕳️🐍

O le tafe ese o faʻamatalaga mai faʻamaumauga o iloiloga e faʻatosina mai i totonu o aʻoaʻoga - e masani lava e ala i le faʻagasologa muamua. E mafai ona faʻaalia ai lau faʻataʻitaʻiga e foliga faʻataulāitu i le taimi o le faʻamaoniga, ona e faʻanoanoa ai lea i le lalolagi moni.

Fa'ata'ita'iga masani o le tafe:

  • fa'ateleina le fa'aaogaina o fuainumera atoa o fa'amaumauga (nai lo na'o a'oa'oga) [2]

  • fa'afanua o vaega o fale e fa'aaoga ai le train+test fa'atasi [2]

  • so'o se fit() po'o le fit_transform() e "va'aia" le seti o su'ega [2]

Tulafono fa'avae (faigofie, sauā, aoga):

  • Soo se mea e iai se e fetaui lelei e tatau ona fetaui lelei i le taimi o toleniga.

  • Ona e fa'aliliuina o le fa'amaoniga/su'ega e fa'aaoga ai le transformer ua fa'apipi'i. [2]

Afai fo'i e te mana'o i se siaki toto'a "o le a le leaga e mafai ona i ai?": o pepa a le scikit-learn lava ia o lo'o fa'aalia ai se fa'ata'ita'iga o le tafega lea e maua ai e se fa'atonuga sese o le fa'agasologa muamua se sa'o e tusa ma le 0.76 i luga o sini fa'afuase'i-ona toe pa'ū lea i le ~ 0.5 pe a uma ona fa'asa'oina le tafega. O le auala lea e mafai ai ona foliga mai o le tafega sese. [2]

Fa'agasolo le fa'agasologa muamua i le gaosiga e aunoa ma se fa'alavelave 🏗️

E tele faʻataʻitaʻiga e le manuia i le gaosiga e lē ona e "leaga" le faʻataʻitaʻiga, ae ona e suia le mea moni e ulufale mai ai —pe ona e suia lau paipa.

O le fa'agasologa muamua e mafaufau i le gaosiga e masani ona aofia ai:

  • Meafaale ua sefeina (encoder mappings, scaler params, tokenizer config) o lea e faʻaaogaina ai e le inference ia lava suiga ua aʻoaʻoina [2]

  • Konekarate fa'aofi fa'amalosi (koluma/ituaiga/vaega e fa'amoemoeina)

  • Mata'ituina o le pi'o ma le fe'avea'i , auā o le a fe'avea'i fa'amaumauga o gaosiga [5]

Afai e te manaʻo i ni faʻamatalaga mautu: O le Vertex AI Model Monitoring a Google e faʻavasega ai le skew o le tautua aʻoaʻoga (e ese le tufatufaina o gaosiga mai aʻoaʻoga) ma le inference drift (e suia le tufatufaina o gaosiga i le aluga o taimi), ma lagolagoina le mataʻituina o vaega faʻavasega ma numera. [5]

Auā e taugata mea e ofo ai. Ae lē o le ituaiga e malie.

Siata fa'atusatusaga: meafaigaluega masani mo le fa'agasologa muamua + le mata'ituina (ma po'o ai e fa'aaogaina) 🧰

Meafaigaluega / faletusi Sili ona lelei mo Tau Aiseā e aogā ai (ma sina faamaoni itiiti)
scikit-aʻoaʻo le faʻagasologa muamua Paipa ML fa'atulagaina Sa'oloto Fa'ailoga mautu + fa'ailoga fa'asolosolo (OneHotEncoder, StandardScaler, ma isi) ma amioga e mafai ona va'aia [1]
Fa'ailoga o le fusi o foliga Sauniuniga o le ulufale atu o le NLP Sa'oloto E gaosia ai ID fa'aulufale + ufimata o le mafaufau i taimi uma i ta'amilosaga/fa'ata'ita'iga [3]
suiga o le torchvision Suiga o le vaʻai + faʻateleina Sa'oloto Auala mama e fa'afefiloi ai suiga fa'atulagaina ma suiga fa'afuase'i i totonu o le tasi paipa [4]
Mata'ituina o le Fa'ata'ita'iga o le Vertex AI Iloa o le fe'avea'i/skew i le prod Totogi (ao) O lo'o iai i mata'itu le skew/drift ma fa'ailoa pe a sopo'ia tulaga fa'atapula'a [5]

(Ioe, o loo i ai pea manatu i le laulau. Ae o manatu faamaoni lava 😅)

O se lisi siaki aoga mo le fa'agasologa muamua e mafai ona e fa'aogaina 📌

A'o le'i faia a'oa'oga

  • Fa'amatala se fa'atulagaga fa'aofi (ituaiga, iunite, vaega fa'atagaina)

  • Su'esu'e tau o lo'o misi ma fa'aluaina

  • Vaevae fa'amaumauga i le auala sa'o (fa'afuase'i / fa'avae i le taimi / fa'aputuina)

  • Fa'agasologa muamua o le Fit i a'oa'oga ( fit / fit_transform tumau i luga o le nofoaafi) [2]

  • Se'i fa'asaoina mea taua o lo'o fa'agasolo muamua ina ia mafai ona toe fa'aaogaina le fa'ai'uga [2]

I le taimi o aʻoaʻoga

  • Fa'aoga le fa'aopoopoga fa'afuase'i pe a talafeagai (e masani lava na'o le vaeluaga o a'oa'oga) [4]

  • Ia fa'aauau pea ona fa'atinoina le iloiloga i se tulaga mautu [4]

  • Siaki suiga o le fa'agasologa muamua e pei o suiga o le fa'ata'ita'iga (auā o le mea moni)

A'o le'i fa'atinoina

  • Ia mautinoa o loʻo faʻaaogaina e le faʻaiʻuga le auala tutusa o le faʻagasologa muamua ma mea taua [2]

  • Fa'atulaga le mata'ituina o le fe'avea'i/skew (e o'o lava i siaki fa'avae o le tufatufaina o foliga e aoga tele) [5]

Su'esu'ega loloto: mea sese masani i le fa'agasologa muamua (ma le auala e 'alo 'ese ai) 🧯

Sese 1: “O le a ou vave faʻatulaga mea uma i se tulaga masani” 😵

Afai e te fa'atatauina parakalafa fa'atulagaina i luga o le fa'amaumauga atoa, o lo'o e fa'asalalauina fa'amatalaga iloiloga. Fa'atulaga lelei, fa'aliliu le vaega o totoe. [2]

Sese 2: vaega ua tafe atu i le vevesi 🧩

Afai e suia lau fa'afanua o vaega i le va o a'oa'oga ma le fa'ai'uga, e mafai e lau fa'ata'ita'iga ona sese le faitauina o le lalolagi. Ia fa'amautu pea fa'afanua e ala i mea ua sefeina. [2]

Sese 3: fa'aopoopoga fa'afuase'i e totolo atu i le iloiloga 🎲

E matagofie tele suiga fa'afuase'i i a'oa'oga, ae e le tatau ona "fa'alilolilo" pe a e taumafai e fuaina le fa'atinoga. (O le fa'afuase'i o lona uiga o le fa'afuase'i.) [4]

Fa'amatalaga Fa'ai'u 🧠✨

O le fa'agasologa muamua o le AI o le tomai fa'apitoa lea o le liua o mea moni fa'aletonu i ni fa'aulufalega tutusa o fa'ata'ita'iga. E aofia ai le fa'amamaina, fa'ailogaina, fa'ateleina, fa'ailogaina, suiga o ata, ma le mea e sili ona taua-o paipa ma mea totino e mafai ona toe faia.

  • Ia faia le fa'agasologa muamua ma le fa'aeteete, ae aua le fa'atamala. [2]

  • Vaeluaina muamua, fa'afetaui suiga i taimi o a'oa'oga, 'alo'ese mai le tafe. [2]

  • Faaaoga le fa'agasologa muamua e talafeagai ma le auala (tokenizers mo tusitusiga, transforms mo ata). [3][4]

  • Mata'ituina le fa'aletonu/fe'avea'i o le gaosiga ina ia 'aua ne'i fa'asolosolo malie ona se'e lau fa'ata'ita'iga i mea e leai se aoga. [5]

Afai fo'i e te faigata ona fai, fesili ifo ia te oe lava:
“E aoga pea lenei la'asaga o le fa'agasologa muamua pe a ou fa'atinoina taeao i fa'amaumauga fou?”
Afai o le tali o le “uhh… atonu?”, o lau fa'ailo lea 😬

Fesili e Masani Ona Fesiligia

O le ā le AI preprocessing, i se faaupuga faigofie?

O le fa'agasologa muamua o le AI o se seti o la'asaga e mafai ona toe faia e liua ai fa'amaumauga mata e pisapisao ma maualuga le eseesega i ni fa'aulufalega tutusa e mafai e se fa'ata'ita'iga ona a'oa'oina mai ai. E mafai ona aofia ai le fa'amamaina, fa'amaonia, fa'ailogaina o vaega, fa'ateleina o numera, fa'ailogaina o tusitusiga, ma le fa'aogaina o suiga o ata. O le sini ia fa'amautinoa o a'oa'oga ma le gaosiga o le gaosiga e va'aia le "ituaiga tutusa" o fa'aulufalega, ina ia le se'e ese le fa'ata'ita'iga i amioga e le mafai ona vavaloina mulimuli ane.

Aiseā e tāua tele ai le fa'agasologa muamua o le AI i le gaosiga?

E tāua le fa'agasologa muamua auā e maaleale fa'ata'ita'iga i le fa'atusa o mea e ulufale mai. Afai e fa'ateleina, fa'ailogaina, fa'ailogaina, pe suia fa'amatalaga o a'oa'oga i se auala ese mai fa'amatalaga o gaosiga, e mafai ona e maua ni fa'aletonu o le fetaui o le a'oa'oga/ tautua e foliga lelei i fafo atu o le initaneti ae fa'aletonu filemu i luga ole initaneti. O paipa malolosi o le fa'agasologa muamua e fa'aitiitia ai fo'i le pisa, fa'aleleia atili ai le mautu o le a'oa'oina, ma fa'avavevave ai le toe fa'agasologa auā e te le o fa'asa'olotoina le fa'alavelave o le spaghetti notebook.

E fa'apefea ona ou 'alofia le sosolo o fa'amaumauga pe a fa'agasolo muamua?

E aoga se tulafono faigofie: so'o se mea e iai se talafeagai e tatau ona fetaui i fa'amaumauga o a'oa'oga. E aofia ai scalers, encoders, ma tokeniser e a'oa'oina ni parameters e pei o means, category maps, po'o vocabularies. E te vaevaeina muamua, fetaui i le training split, ona fa'aliliu lea o le validation/test e fa'aaoga ai le fitted transformer. O le leakage e mafai ona fa'alelei ai le fa'amaoniga ma fa'aitiitia ai le aoga i le gaosiga.

O a la'asaga masani o le fa'agasologa muamua mo fa'amaumauga fa'afanua?

Mo faʻamaumauga faʻatulagaina, o le paipa masani e aofia ai le faʻamamaina ma le faʻamaonia (ituaiga, vaega, tau o loʻo misi), faʻailoga faʻavasega (tasi-vevela poʻo le faʻasologa), ma le faʻatulagaina numera (faʻatulagaina poʻo le min-max). O le tele o paipa e faʻaopoopoina ai le inisinia o foliga faʻavae-domain e pei o fua faʻatatau, faʻamalama faʻataʻamilomilo, poʻo faitauga. O se masaniga aoga o le faʻamatalaina manino lea o vaega o koluma (numeric vs categorical vs identifiers) ina ia tumau pea au suiga.

E faʻapefea ona galue le faʻagasologa muamua mo faʻataʻitaʻiga tusitusiga?

O le fa'agasologa muamua o tusitusiga e masani ona fa'auigaina o le fa'ailogaina i tokens/subwords, liua i latou i input IDs, ma le taulimaina o le padding/truncation mo le batching. O le tele o galuega fa'aliliu e faia ai fo'i se ufimata o le mafaufau fa'atasi ai ma IDs. O se auala masani o le fa'aogaina lea o le fa'atulagaga o le tokenizer e fa'amoemoeina o le fa'ata'ita'iga nai lo le fa'ata'ita'iina, aua o eseesega laiti i fa'atulagaga o le tokeniser e mafai ona o'o atu ai i le "toleni ae amio e le'i mafaufauina".

O le ā le eseesega e uiga i le fa'agasologa muamua o ata mo le a'oa'oina o masini?

O le fa'agasologa muamua o ata e masani ona fa'amautinoa ai foliga tutusa ma le taulimaina o pixel: toe fa'aleleia/tipiina, fa'atulagaina, ma se vaeluaga manino i le va o suiga fa'atulagaina ma suiga fa'afuase'i. Mo le iloiloga, e tatau ona fa'atulagaina suiga ina ia tutusa fua fa'atatau. Mo a'oa'oga, o le fa'ateleina fa'afuase'i (e pei o seleselega fa'afuase'i) e mafai ona fa'aleleia atili ai le malosi, ae o le fa'afuase'i e tatau ona fa'atatauina ma le fa'amoemoe i le vaeluaga o a'oa'oga, ae le o le tu'ua fa'afuase'i i le taimi o le iloiloga.

O le ā le mea e "lelei" ai se paipa o loʻo faʻagasolo muamua nai lo le vaivai?

O se paipa lelei a le AI preprocessing e mafai ona toe gaosia, saogalemu mai le tafe, ma mafai ona matauina. O le toe gaosia o lona uiga o le input tutusa e maua ai le output tutusa vagana ua faʻateleina faʻamoemoeina le faʻafuaseʻi. O le saogalemu mai le tafe o lona uiga o laʻasaga fetaui e le paʻi atu i le faʻamaoniga/suʻega. O le Observable o lona uiga e mafai ona e siakiina fuainumera e pei o le misi, faitauga o vaega, ma tufatufaina o foliga o lea e faʻavae ai le debugging i faʻamaoniga, ae le o le lagona o le loto. O paipa e sili atu nai lo faʻasologa o api talaaga faʻapitoa i taimi uma.

E faʻapefea ona ou faʻaauau pea ona tutusa aʻoaʻoga ma le faʻagasologa muamua o faʻaiʻuga?

O le ki autū o le toe fa'aaogaina lea o mea totino tutusa ua a'oa'oina i le taimi e faia ai le fa'ai'uga: o parakalafa fa'asolosolo, fa'afanua o le encoder, ma fa'atulagaga o le tokenizer. E te mana'o fo'i i se konekarate fa'aofi (koluma, ituaiga, ma vaega e fa'amoemoeina) ina ia le mafai ai e fa'amatalaga gaosiga ona fe'avea'i fa'alilolilo i foliga le aoga. O le tutusa e le na'o le "faia o la'asaga tutusa" - ae o le "faia o la'asaga tutusa ma parakalafa ma fa'afanua tutusa ua fetaui."

E faʻapefea ona ou mataʻituina faʻafitauli o le faʻagasologa muamua e pei o le feʻaveaʻi ma le piʻopiʻo i le aluga o taimi?

E tusa lava pe mautu le faiga o le gaosiga, e suia lava faʻamaumauga o le gaosiga. O se auala masani o le mataʻituina lea o suiga o le tufatufaina atu o vaega ma lapatai atu i le faʻaletonu o le tautua aʻoaʻoga (e ese le gaosiga mai le aʻoaʻoga) ma le fesuiaʻiga o le gaosiga i le aluga o taimi). E mafai ona mama le mataʻituina (siakiina masani o le tufatufaina atu) pe pulea (e pei o le Vertex AI Model Monitoring). O le sini ia vave ona puʻeina suiga o mea e ulufale mai ai - aʻo leʻi faʻaitiitia malie le faʻatinoga o le faʻataʻitaʻiga.

Fa'asinomaga

[1] scikit-learn API:
sklearn.preprocessing (encoders, scalers, normalization) [2] scikit-learn: Fa'afitauli masani - Fa'asalalauina o fa'amatalaga ma le auala e 'alo 'ese ai
[3] Pepa o Transformers o le Hugging Face: Tokenizers (input IDs, attention masks)
[4] Pepa o le PyTorch Torchvision: Transforms (Resize/Normalize + random transforms)
[5] Pepa o le Google Cloud Vertex AI: Model Monitoring overview (feature skew & drift)

Saili le AI Fou i le Faleoloa Aloaia o Fesoasoani AI

Faatatau ia tatou

Toe foʻi i le blog