Afai ua e faʻalogo i tagata o faʻatautala le GPT e pei o se upu masani, e le na o oe. E aliali mai le faʻapuʻupuʻu i igoa o oloa, pepa suʻesuʻega, ma talanoaga i aso uma. O le vaega faigofie lenei: O le GPT o lona uiga o le Generative Pre-trained Transformer . O le vaega aoga o le iloa lea pe aisea e taua ai na upu e fa - aua o le togafiti o loʻo i totonu o le mashup. O lenei taʻiala e faʻamatalaina ai: ni nai manatu, ni nai mea e le o aofia ai, ma le tele o mea aoga e mafai ona e aʻoaʻoina. 🧠✨
O tala e te ono fia faitauina pe a uma lenei:
🔗 O le ā le AI e valoia ai
E faʻapefea ona vavalo e le AI vavalo ia taunuuga e faʻaaoga ai faʻamatalaga ma algorithms.
🔗 O le ā le faiaʻoga AI
Matafaioi, tomai, ma auala e faatino ai aoaoga i tua atu o faiga faaonaponei o le AI.
🔗 O le ā le open-source AI
Faʻamatalaga, faʻamanuiaga, luʻitau, ma faʻataʻitaʻiga o le open-source AI.
🔗 O le ā le fa'atusa AI: mea uma e te mana'omia ona iloa
Talafaasolopito, metotia autu, malosiaga, ma tapulaʻa o le AI faʻatusa.
Tali vave: O le ā le uiga o le GPT?
GPT = Transformer ua uma ona a'oa'oina e gaosia.
-
Tuputupu a'e - e fatuina ai anotusi.
-
Ua uma ona a'oa'oina - e a'oa'oina lautele a'o le'i fa'afetauiina.
-
Transformer - o se fausaga o feso'ota'iga neura e fa'aogaina ai le gauai atu o le tagata lava ia e fa'ata'ita'i ai sootaga i fa'amaumauga.
Afai e te manaʻo i se faʻamatalaga e tasi le fuaiupu: o le GPT o se faʻataʻitaʻiga tele o le gagana e faʻavae i luga o le fausaga o le transformer, ua uma ona aʻoaʻoina i tusitusiga tetele ona fetuʻunaʻi lea e mulimuli i faʻatonuga ma fesoasoani [1][2].
Aiseā e tāua ai le fa'apu'upu'uga i le olaga moni 🤷♀️
E le fiafia tagata i fa'apu'upu'uga, ae o lenei fa'amatalaga e fa'ailoa mai ai le auala e amio ai nei faiga i le natura. Talu ai o GPT e gaosia mea , e le na'o ni vaega laiti latou te toe maua mai - latou te fa'apotopotoina tali. Talu ai ua uma ona a'oa'oina , e o mai ma le malamalama lautele mai le pusa ma e mafai ona fetu'una'i vave. Talu ai o ni transformers , latou te fa'alauteleina lelei ma taulimaina le tala'aga mamao ma le sili atu ona matagofie nai lo fausaga tuai [2]. O le tu'ufa'atasiga e fa'amatala ai le mafua'aga e lagona ai e GPT le talanoa, fetuutuunai, ma fesoasoani tele i le 2 i le taeao pe a e fa'aleleia se regex pe fuafua se lasagna. E le fa'apea ua ou… faia uma ia mea e lua i le taimi e tasi.
E te fia iloa e uiga i le vaega o le transformer? O le faiga o le gauai atu e mafai ai e faʻataʻitaʻiga ona taulaʻi i vaega sili ona talafeagai o le input nai lo le taulimaina tutusa o mea uma - o se mafuaʻaga autu e lelei ai le galue o transformer [2].
O le ā le mea e aogā ai GPT ✅
Ia tatou faamaoni - e tele faaupuga o le AI e faasalalau soo. E lauiloa GPT ona o mafuaaga e sili atu ona aoga nai lo mea lilo:
-
Lagona o le tulaga - o le gauai atu ia te oe lava e fesoasoani i le faʻataʻitaʻiga e faʻatusatusa upu, faʻaleleia atili ai le felagolagomaʻi ma le tafe o mafaufauga [2].
-
Fesiitaiga - o le a'oa'oina muamua i fa'amaumauga lautele e maua ai le tomai lautele o le fa'ata'ita'iga e fa'aauau i galuega fou ma sina fetu'una'iga itiiti [1].
-
Fa'atulagaina o le fa'atulagaina - o le mulimulita'i i fa'atonuga e ala i le tali mai o tagata (RLHF) e fa'aitiitia ai tali e le aoga pe sese le fa'amoemoega ma fa'apena ona lagona le galulue fa'atasi o taunu'uga [3].
-
Tuputupu aʻe tele auala - e mafai e GPT fou ona galulue faʻatasi ma ata (ma isi mea), e mafai ai ona faʻagasolo galuega e pei o Fesili ma Tali vaaia poʻo le malamalama i pepa [4].
Pe o latou faia pea ni mea sese? Ioe. Ae o le afifi e aoga—e masani ona manaia tele—auā e faʻafefiloi ai le malamalama mata ma se atinaʻe e mafai ona pulea.
O le vaevaeina o upu i le “O le ā le uiga o le GPT” 🧩
Tuputupu a'e
O le faʻataʻitaʻiga e gaosia ai tusitusiga, code, aotelega, otootoga, ma isi mea—faʻailoga i faʻailoga—e faʻavae i luga o mamanu na aʻoaʻoina i le taimi o aʻoaʻoga. Talosaga mo se imeli malulu ma o le a tusia loa se tasi.
Ua uma ona a'oa'oina
A'o le'i e pa'i atu i ai, ua uma ona mitiia e le GPT ni mamanu lautele o gagana mai ni fa'aputuga tusitusiga tetele. O le a'oa'oga muamua e maua ai le tomai lautele ina ia mafai ai ona e fetu'una'i mulimuli ane i lau vaega fa'apitoa ma ni fa'amatalaga la'ititi e ala i le fa'aleleia atili po'o le na'o le fa'amalosiauina atamai [1].
Transformer
O le fausaga lea na fa'aaogaina ai le fua fa'atatau. E fa'aaogaina e Transformers ni vaega e mafaufau i ai e filifili ai po'o fea fa'ailoga e taua i la'asaga ta'itasi—e pei o le va'ai vave i se palakalafa ma toe tepa i tua ou mata i upu talafeagai, ae e mafai ona fa'avasegaina ma a'oa'oina [2].
Auala e aʻoaʻoina ai GPT ina ia fesoasoani (puʻupuʻu ae aua le puʻupuʻu tele) 🧪
-
A'oa'oga muamua - a'oa'o e vavalo le isi fa'ailoga i fa'aputuga tusitusiga tetele; o lenei mea e fausia ai le tomai lautele i le gagana.
-
Fa'asa'oga lelei e va'ava'aia - e tusia e tagata tali lelei i fesili; e a'oa'o e le fa'ata'ita'iga le fa'ata'ita'iga e fa'ata'ita'i i lena sitaili [1].
-
A'oa'oga fa'amalosia mai manatu fa'aalia mai tagata (RLHF) - e fa'avasega e tagata ia taunuuga, e a'oa'oina se fa'ata'ita'iga taui, ma fa'alelei le fa'ata'ita'iga autu e maua ai tali e fiafia i ai tagata. O lenei fua o le InstructGPT na mafua ai ona lagona e tagata le aoga o fa'ata'ita'iga talatalanoaga nai lo le na'o le a'oa'oga [3].
E tutusa ea le GPT ma le transformer po'o le LLM? E fai si tutusa, ae le o le 🧭
-
Transformer - o le fausaga autū.
-
Fa'ata'ita'iga o Gagana Tele (LLM) - o se fa'aupuga lautele mo so'o se fa'ata'ita'iga tele ua a'oa'oina i tusitusiga.
-
GPT - o se aiga o LLM e faʻavae i luga o le transformer e gaosia ma ua uma ona aʻoaʻoina, ua lauiloa e OpenAI [1][2].
O lea la, o GPT uma lava o se LLM ma se transformer, ae le o faʻataʻitaʻiga transformer uma o ni faʻatafafā ma sikuea e pei o le GPT.
O le uiga o le "O le ā le uiga o le GPT" i fanua e tele auala e feoa'i ai 🎨🖼️🔊
E fetaui lelei lava le faapuupuuga pe a e fafagaina ata faatasi ma tusitusiga. O generative ma vaega ua uma ona aʻoaʻoina e faʻalautele atu i auala eseese, ae o le o le transformer ua fetuʻunaʻi e taulimaina ai le tele o ituaiga input. Mo se suʻesuʻega loloto lautele i le malamalama i ata ma fefaʻatauaʻiga saogalemu i GPT e mafai ona faʻaogaina le vaʻai, tagaʻi i le kata o le system [4].
Auala e filifili ai le GPT sa'o mo lau fa'aoga 🧰
-
Fa'ata'ita'iga o se oloa - amata i se fa'ata'ita'iga lautele ma toe fa'ata'ita'i i se fausaga vave; e vave atu nai lo le tuliloaina o le fa'aleleia atoatoa i le aso muamua [1].
-
Leo mautu po'o galuega mamafa i tulafono fa'avae - mafaufau i le fa'aleleia atili o le va'ava'aia fa'atasi ai ma le fa'aleleia atili o mea e fiafia i ai e fa'atino ai le loka [1][3].
-
Va'aiga po'o fa'amaumauga-mamafa galuega - GPT multimodal e mafai ona fa'avasega ata, siata, po'o fa'amalama e aunoa ma ni paipa vaivai OCR-na'o [4].
-
Siosiomaga e lamatia tele pe fa'atonutonuina - fa'afetaui ma fa'avae o tulaga lamatia ua iloa ma fa'atulaga faitoto'a iloiloga mo fa'amatalaga, fa'amaumauga, ma taunu'uga [5].
Fa'aaogāina ma le fa'aeteete, mo se taimi pu'upu'u-auā e tāua 🧯
A'o fa'apipi'iina nei fa'ata'ita'iga i ni fa'ai'uga, e tatau i 'au ona taulimaina fa'amaumauga, iloiloga, ma le galulue fa'atasi ma le fa'aeteete. O se amataga aoga o le fa'afanua lea o lau faiga fa'asaga i se fa'avae lamatia ua iloa, e le fa'alagolago i le fa'atau'oloa. O le Fa'avae Pulega Lamatiaga Fa'ale-AI a le NIST o lo'o fa'amatalaina ai galuega tau Pulega, Fa'afanua, Fuaina, ma le Pulea ma tu'uina atu ai se fa'amatalaga Generative AI fa'atasi ai ma fa'atinoga mautu [5].
O manatu sese masani e uiga i le litaea 🗑️
-
“O se fa'amaumauga e su'e ai mea.”
Leai. O le amio autu a le GPT o le generative next-token prediction; e mafai ona fa'aopoopo le toe maua mai, ae e le o le mea masani lea [1][2]. -
“O le faʻataʻitaʻiga tele o lona uiga o le moni ua mautinoa.”
E fesoasoani le fua faʻatatau, ae o faʻataʻitaʻiga e faʻaleleia atili ai manaʻoga e mafai ona sili atu nai lo faʻataʻitaʻiga tetele e leʻi faʻatulagaina i le fesoasoani ma le saogalemu-faʻavae, o le uiga lena o le RLHF [3]. -
“O le Multimodal o lona uiga o le OCR.”
Leai. O le Multimodal GPTs e tuʻufaʻatasia ai foliga vaaia i totonu o le paipa mafaufau o le faʻataʻitaʻiga mo ni tali e sili atu ona malamalama i le tulaga [4].
O se fa'amatalaga faigofie e mafai ona e fa'aaogaina i pati 🍸
A fesili mai se tasi O le ā le uiga o le GPT , taumafai i le mea lenei:
“O se Generative Pre-training Transformer—o se ituaiga o AI e aʻoaʻoina ai mamanu o gagana i tusitusiga tetele, ona faʻafetaui lea i manatu faaalia a tagata ina ia mafai ona mulimuli i faʻatonuga ma maua ai ni tali aoga.” [1][2][3]
Pupuu, agalelei, ma lava lona uiga valea e fa'ailoa atu ai e te faitau i mea i luga o le initaneti.
O le ā le uiga o le GPT—e sili atu nai lo tusitusiga: o ni auala faigaluega aogā e mafai ona e faʻatinoina 🛠️
-
Mafaufau loloto ma otootoga - tusi le anotusi, ona fesili lea mo ni faaleleiga faatulagaina e pei o ni manatu faaopoopo, isi ulutala fou, po o se manatu e feteenai.
-
Fa'amaumauga-i-le-tala - fa'apipi'i se laulau la'ititi ma fai atu mo se aotelega fa'apitoa e tasi le parakalafa, sosoo ai ma ni tulaga lamatia se lua ma se fa'aitiitia o tulaga lamatia ta'itasi.
-
Fa'amatalaga o le code - talosaga mo se faitauga la'asaga i lea la'asaga o se galuega faigata, ona sosoo ai lea ma ni nai su'ega.
-
Fa'avasegaga o le tele o auala - tu'ufa'atasia se ata o se siata fa'aopoopo i ai: "aotele le aga, matau mea e le masani ai, fautua mai ni siaki se lua e sosoo ai."
-
Galuega faatino e malamalama i tulafono faavae - fetuunai pe faatonu le faataitaiga e faatatau i taiala i totonu, faatasi ai ma faatonuga manino i le mea e fai pe a le mautinoa.
O nei mea taʻitasi e faʻalagolago i le tolu e tasi: le gaosiga faʻatupuina, aʻoaʻoga muamua lautele, ma le mafaufauga faʻale-atunuʻu a le transformer [1][2].
Tulimanu loloto: gauai atu i se tasi o faataoto e fai si sese 🧮
Va'ai faalemafaufau i le faitauina o se palakalafa mafiafia e uiga i le tamaoaiga a'o e inuina se ipu kofe e le lelei. E toe siaki pea e lou mafaufau ni nai fuaitau autu e foliga mai e taua, ma tu'uina atu i ai ni fa'amatalaga fa'apipi'i i le mafaufau. O lena taula'iga filifilia e pei o le gauai . E a'oa'oina e Transformers le tele o le "mamafa o le gauai" e fa'aoga i fa'ailoga ta'itasi e fa'atatau i isi fa'ailoga ta'itasi; o le tele o ulu o le gauai e pei o le tele o tagata faitau o lo'o faitau vave i ni mea taua eseese, ona tu'ufa'atasia lea o ni manatu [2]. E le atoatoa, ou te iloa; ae e pipii mau.
Fesili e Masani Ona Fesiligia: tali pupuu tele, e tele lava
-
E tutusa ea le GPT ma le ChatGPT?
O le ChatGPT o se aafiaga oloa ua fausia i luga o faʻataʻitaʻiga GPT. O le aiga lava e tasi, o se vaega eseese o le UX ma meafaigaluega saogalemu [1]. -
E na'o tusitusiga e mafai ona faia e GPT?
Leai. O nisi e tele auala e taulimaina ai ata (ma isi mea) foi [4]. -
E mafai ona ou pulea le auala e tusi ai se GPT?
Ioe. Faaaoga le fausaga vave, faatonuga o le polokalama, po o le faaleleia atili mo le tausisia o le leo ma tulafono faatonutonu [1][3]. -
Ae fa'apefea le saogalemu ma le lamatiaga?
Fa'aaoga ni fa'avae ua iloa ma fa'amaumau au filifiliga [5].
Fa'amatalaga Fa'ai'u
Afai e te le manatua se isi mea, ia manatua lenei mea: O le uiga o le GPT e sili atu nai lo na o se fesili e uiga i upu. O le faapuupuuga e fa'ailoa mai ai se fua e fa'aoga ai le AI fa'aonaponei. O le Generative e avatu ia te oe le fa'atinoga lelei. O le Pre-trained e avatu ia te oe le lautele. O le Transformer e avatu ia te oe le fua ma le anotusi. Fa'aopoopo le fa'atulagaina o fa'atonuga ina ia amio lelei le faiga - ma fa'afuase'i ona i ai sau fesoasoani lautele e tusi, mafaufau, ma fetu'una'i. Pe atoatoa ea? Ioe e leai. Ae o se meafaigaluega aoga mo galuega malamalama, e pei o se naifi a le Swiss Army e faia ai se lau fou a'o e fa'aaogaina ... ona fa'atoese lea ma tu'uina atu ia te oe se aotelega.
Umi Tele, E Le'i Faitauina.
-
O le ā le uiga o le GPT : Generative Pre-trained Transformer.
-
Aiseā e tāua ai: fa'asologa o le generative + a'oa'oga muamua lautele + taulimaina o le transformer context [1][2].
-
Fa'apefea ona faia: a'oa'oga muamua, fa'aleleia atili o le va'ava'aia, ma le fa'atulagaina o manatu fa'aalia i tagata [1][3].
-
Faaaoga lelei: fa'atonu ma le fa'atulagaina, fa'aleleia mo le mautu, fa'afetaui ma fa'avae o tulaga lamatia [1][3][5].
-
Fa'aauau pea ona a'oa'o: faitau vave le pepa muamua o le transformer, pepa a le OpenAI, ma le ta'iala a le NIST [1][2][5].
Fa'asinomaga
[1] OpenAI - Manatu Autū (a'o le'i amataina le a'oa'oga, fa'aleleia atili, fa'aosofiaga, fa'ata'ita'iga)
faitau atili
[2] Vaswani ma isi, “O le Gauai Lava e te Manaʻomia” (Transformer architecture)
faitau atili
[3] Ouyang ma isi, “A’oa’oina o fa’ata’ita’iga gagana e mulimuli ai i fa’atonuga fa’atasi ai ma fa’amatalaga a tagata” (InstructGPT / RLHF)
faitau atili
[4] OpenAI - GPT-4V(ision) System Card (gafatia ma le saogalemu o le tele o vaega)
faitau atili
[5] NIST - Fa'avae o le Pulega o Lamatiaga a le AI (pulega e le fa'aitu'au i le fa'atau'oloa)
faitau atili