Tali puupuu: E galue le fa'aleleia atili o le AI e ala i le a'oa'oina o se fa'ata'ita'iga i luga o ata fa'apipi'i maualalo ma maualuga le iugafono, ona fa'aaoga lea e vavalo ai ni pixel fa'aopoopo talitonuina i le taimi o le fa'aleleia atili. Afai ua va'aia e le fa'ata'ita'iga ni foliga tutusa po'o ni foliga i le taimi o a'oa'oga, e mafai ona fa'aopoopoina ni fa'amatalaga fa'atalitonuina; a leai, e ono "fa'afoliga sese" o ni mea faitino e pei o ni 'apo'apo'a, pa'u pei o se pulu, po'o ni emo i le vitio.
Manatu autū:
Valoaga: O le faʻataʻitaʻiga e faʻatupuina ai faʻamatalaga auiliili e mafai ona talitonuina, ae le o se toe faʻatulagaina mautinoa o le mea moni.
Filifiliga o le faʻataʻitaʻiga: E masani ona mautu CNNs; e mafai ona foliga maʻai GANs ae e ono iai ni foliga fou.
Siakiina o mea taulima: Vaavaai mo ni ila o le lagi, o foliga e fai soo, "toeitiiti lava a pei o ni mataitusi", ma foliga palasitika.
Mausali o le vitio: Faaaoga metotia fa'atulagaina o taimi a leai o le a e va'aia le susulu ma le fe'avea'i mai le tasi fa'avaa i le isi fa'avaa.
Fa'aaogāga e lamatia ai: Afai e taua le sa'o, fa'ailoa mai le fa'agasologa ma fa'aaoga i'uga e fai ma fa'ata'ita'iga.
Atonu ua e vaʻai i ai: o se ata laʻitiiti ma malō e liua i se mea e lava lona malō e lolomi ai, faʻasalalau, pe tuʻuina i totonu o se faʻaaliga e aunoa ma le mimigi. E pei o se pepelo. Ma - i le auala sili - e pei lava o le 😅
O lea la, o le auala e galue ai le AI Upscaling e oʻo mai i se mea e sili atu ona patino nai lo le "faʻaleleia e le komepiuta faʻamatalaga auiliili" (gaugau lima) ma e latalata i le "vavalo e se faʻataʻitaʻiga se fausaga maualuga e mafai ona faʻatatau i mamanu na aʻoaʻoina mai le tele o faʻataʻitaʻiga" (Deep Learning for Image Super-resolution: A Survey). O lena laʻasaga o le vavalo o le taʻaloga atoa lea - ma o le mafuaʻaga lea e mafai ai e le AI upscaling ona foliga matagofie ... pe sina palasitika ... pe pei o le tupu aʻe o lau pusi i ni ava faʻaopoopo.
O tala e te ono fia faitauina pe a uma lenei:
🔗 Auala e galue ai le AI
Aoao mea faavae o faʻataʻitaʻiga, faʻamaumauga, ma faʻaiʻuga i le AI.
🔗 Auala e aʻoaʻoina ai e le AI
Va'ai pe fa'apefea ona fa'aleleia atili e fa'amaumauga o a'oa'oga ma manatu fa'aalia le fa'atinoga o le fa'ata'ita'iga i le aluga o taimi.
🔗 Auala e iloa ai e le AI ni mea e le masani ai
Ia malamalama i laina fa'avae o mamanu ma le auala e vave fa'ailoa ai e le AI amioga e le masani ai.
🔗 Auala e valoia ai e le AI ia aga masani
Su'esu'e metotia e vavalo ai e iloa ai fa'ailo ma va'aia ai le mana'oga i le lumana'i.
Le auala e galue ai le AI Upscaling: o le manatu autū, i upu masani 🧩
O le fa'ateleina o le ata o lona uiga o le fa'ateleina o le iugafono: o le tele o pixels, o le tele o ata. O le fa'ateleina masani (e pei o le bicubic) e fa'alauteleina ai pixels ma fa'alelei ai suiga (Bicubic interpolation). E lelei, ae e le mafai ona faia fou - e na'o le fa'aopoopoina.
O le fa'aleleia atili o le AI e taumafai i se mea e sili atu le lototoa (e ta'ua fo'i o le "super-resolution" i le lalolagi o su'esu'ega) (Deep Learning for Image Super-resolution: O se Su'esu'ega):
-
E tilotilo i le input maualalo-res
-
Iloa mamanu (pito, fausaga, foliga vaaia, tosi o tusitusiga, lalagaina o ie…)
-
Vavalo pe fa'apefea le foliga o se fa'ata'ita'iga maualuga le fa'amalamalamaga
-
Fa'atupuina fa'amatalaga fa'aopoopo o pixel e fetaui ma na mamanu
E lē o le “toe fa’afo’isia atoatoa le mea moni,” ae sili atu le pei o le “faia o se mate’aga e matuā talitonuina” (Image Super-Resolution Using Deep Convolutional Networks (SRCNN)). Afai e foliga mai e fai si masalosalo, e te lē o sese - ae o le mafua’aga fo’i lea e aoga lelei ai 😄
Ioe, o lona uiga o le faʻaleleia atili o le AI o se mea e pei o se mafaufauga faʻatusa e pulea ... ae i se auala aoga ma faʻaaloalo i pixels.
O le ā le mea e lelei ai le fa'aleleia atili o le AI? ✅🛠️
Afai o loʻo e faʻamasinoina se AI upscaler (poʻo se seti ua uma ona setiina), o le mea lenei e sili ona tāua:
-
Toe fa'aleleia atili o mea e aunoa ma le soona kuka tele.
O le fa'aleleia lelei o le fa'asusuina e fa'aopoopoina ai le malū ma le fa'atulagaina, ae le o le pisa malū pe o pu pepelo. -
Pulea o pito
E mama laina e tumau pea le mama. O fa'ata'ita'iga leaga e fa'agatete ai pito pe tupu mai ai ni ila. -
valivali
e pei o se olo a le pulumu. E le tatau ona avea piliki ma se mamanu e toe fai soo. -
Taulimaina o le pisa ma le fa'apipi'iina
O le tele o ata i aso uma e fa'aleagaina i le JPEG. O se fa'aopoopoga lelei e le fa'ateleina ai lena fa'aleagaina (Real-ESRGAN). -
Malamalama i foliga ma tusitusiga
O foliga ma tusitusiga o nofoaga sili ona faigofie e iloa ai mea sese. O faʻataʻitaʻiga lelei e taulimaina ma le faʻaeteete (pe i ai ni faiga faʻapitoa). -
Tutusa i fa'avaa (mo vitio)
Afai e fe'ilafi fa'amatalaga mai le fa'avaa i le fa'avaa, o le a 'alaga ou mata. O le fa'aleleia atili o vitio e ola pe oti ona o le mautu o le taimi (BasicVSR (CVPR 2021)). -
Pulea e talafeagai
E te manaʻo i ni sliders e faʻatatau i taunuuga moni: denoise, deblur, aveeseina o mea taua, taofia o saito, faʻasaʻoina… o mea aoga.
O se tulafono filemu e tumau pea: o le fa'aleleia atili "sili" e masani lava o le mea e te seasea matauina. E foliga mai sa i ai sau meapueata sili atu i le amataga 📷✨
Siata Fa'atusatusaga: filifiliga lauiloa o le fa'aleleia atili o le AI (ma mea e lelei ai) 📊🙂
O lo'o i lalo se fa'atusatusaga aogā. E le o mautinoa le manino o tau auā e eseese meafaigaluega e tusa ai ma le laisene, afifi, tau o komepiuta, ma isi mea malie uma.
| Meafaigaluega / Auala | Sili ona lelei mo | Viiga o le tau | Aiseā e aoga ai (pe tusa o le) |
|---|---|---|---|
| Mea fa'aleleia laulau i le faiga o le Topaz (Ata o Topaz, Vitio o Topaz) | Ata, vitio, faiga faigofie o galuega | Totogi fua | Faʻataʻitaʻiga lautele malolosi + tele fetuʻunaʻiga, e foliga mai e "galue lelei" ... tele lava |
| O foliga vaaia o le ituaiga "Super Resolution" a le Adobe (Adobe Enhance > Super Resolution) | O tagata pu'e ata ua i ai i lena siosiomaga | Lesitala-y | Toe fa'atulagaina o fa'amatalaga auiliili, e masani lava ona fa'asao (e itiiti le fa'alavelave) |
| Eseesega o le Real-ESRGAN / ESRGAN (Real-ESRGAN, ESRGAN) | Galuega DIY, tagata atia'e, galuega fa'aputu | E leai se totogi (ae e tele le taimi e alu ai) | Lelei i le fa'alelei o le foliga, e mafai ona ma'ai i foliga pe a e le fa'aeteete |
| Faiga fa'ateleina e fa'avae i luga o le fa'asalalauina (SR3) | Galuega fatufatua'i, taunuuga fa'alelei | Fefiloi | E mafai ona fatuina ni faʻamatalaga matagofie - e mafai foʻi ona fatuina ni mea valea, o lea la… ioe |
| Fa'aleleia atili o ta'aloga (faiga DLSS/FSR) (NVIDIA DLSS, AMD FSR 2) | Taaloga ma le fa'ata'ita'iga i le taimi moni | Fa'aputuina | Fa'aaogaina fa'amaumauga o gaioiga ma mea ua uma ona a'oa'oina - fa'atinoga sologa lelei ma manumalo 🕹️ |
| Auaunaga fa'aleleia atili o le ao | Faigofie, manumalo vave | Totogi i le fa'aaogaina | Vave + fa'ateleina, ae e te pulea fefa'ataua'iga ma o nisi taimi e fa'alilolilo |
| Fa'aleleia atili o le AI e taula'i i vitio (BasicVSR, Topaz Video) | Ata tuai, anime, faamaumauga | Totogi fua | Togafiti fa'avaitaimi e fa'aitiitia ai le fe'ilafi + fa'ata'ita'iga vitio fa'apitoa |
| Fa'aleleia atili o le telefonipoto/falemata'aga | Fa'aoga masani | Ua aofia ai | O faʻataʻitaʻiga mama ua faʻaleleia mo le gaosiga manaia, ae le o le atoatoa (e faigofie lava) |
Fa'atulagaina o le ta'utinoga o le quirk: O le "Totogi-ish" o lo'o faia le tele o galuega i lena laulau. Ae ua e malamalama i le manatu 😅
O le mealilo tele: e aʻoaʻoina e faʻataʻitaʻiga se faʻafanua mai le maualalo-res i le maualuga-res 🧠➡️🖼️
O le fatu o le tele o fa'aleleia atili o le AI o lo'o i ai se fa'atulagaga o le a'oa'oina e va'ava'aia (Image Super-Resolution Using Deep Convolutional Networks (SRCNN)):
-
Amata i ata e maualuga le iugafono (le "upu moni")
-
Fa'aitiitia i latou i ni fa'ata'ita'iga maualalo le iugafono (le "input")
-
Aoao se faʻataʻitaʻiga e toe fausia ai le ata muamua maualuga-res mai le ata maualalo-res
I le aluga o taimi, e aʻoaʻoina e le faʻataʻitaʻiga ni fesoʻotaʻiga e pei o:
-
"O lenei ituaiga o le le manino o loʻo siomia ai se mata e masani lava ona patino i fulufulumata"
-
"O lenei fa'aputuga pixel e masani ona fa'ailoa mai ai tusitusiga serif"
-
"O lenei fa'asolo o le pito e foliga mai o se laina o le taualuga, ae le o se pisa fa'afuase'i"
E lē o le taulotoina o ni ata patino (i se uiga faigofie), ae o le aʻoaʻoina o le fausaga faʻamaufaʻailoga (Deep Learning for Image Super-resolution: A Survey). Mafaufau i ai e pei o le aʻoaʻoina o le kalama o mea e fai ai ma pito. E lē o le kalama o solo, e sili atu ona pei o… kalama tusi lesona a le IKEA 🪑📦 (faʻataʻitaʻiga faigata, ae e toetoe lava tutusa).
O nati ma poloti: o le a le mea e tupu i le taimi o le fa'ai'uga (pe a e fa'aleleia atili) ⚙️✨
A e fafaga se ata i totonu o se AI upscaler, e masani lava ona i ai se pipeline e pei o lenei:
-
Fa'agasologa muamua
-
Liliu le avanoa lanu (o nisi taimi)
-
Fa'atulaga tulaga masani o pixels
-
Vaevae le ata i ni vaega pe afai e tele (siaki moni o le VRAM 😭) (Real-ESRGAN repo (filifiliga o le tile))
-
-
Fa'a'esea o foliga vaaia
-
O vaega muamua e iloa ai pito, tulimanu, ma feliuliua'iga
-
O vaega loloto e iloa ai mamanu: mea teuteu, foliga, vaega o foliga
-
-
Toe fausiaina
-
O le faʻataʻitaʻiga e faʻatupuina ai se faʻafanua o foliga e maualuga le iugafono
-
Ona liua lea i le pixel output moni
-
-
Fa'agasologa pe a uma
-
Fa'asa'oina filifiliga
-
Fa'aitiitia le pisa e filifili ai
-
Taofiofia fa'apitoa o mea fa'aletino (tatagi, halo, poloka)
-
Tasi le fa'amatalaga ma'ale'ale: o le tele o meafaigaluega e fa'alelei i totonu o ta'i, ona fa'afefiloi lea o so'oga. O meafaigaluega lelei e natia ai tuaoi o ta'i. O meafaigaluega e le tele ni mea e tu'ua ai ni fa'ailoga manifinifi pe a e mimilo mata. Ma ioe, o le a e mimilo mata, aua e fiafia tagata e siaki mea sese laiti i le 300% zoom e pei o gremlins laiti 🧌
O aiga faʻataʻitaʻiga autu na faʻaaogaina mo le faʻaleleia atili o le AI (ma le mafuaʻaga latou te lagona ai le eseese) 🤖📚
1) Fa'amaumauga sili ona lelei e fa'avae i luga o le CNN (le galuega masani a le solofanua)
E sili ona lelei feso'ota'iga neula fa'a-convolutional i mamanu fa'alotoifale: pito, mamanu, fausaga laiti (Image Super-Resolution Using Deep Convolutional Networks (SRCNN)).
-
Lelei: vave, mautu, itiiti ni mea e ofo ai
-
Le lelei: e foliga mai e fai si "fa'agasolo" pe a fa'amalosi malosi
2) Fa'aleleia atili fa'avae i luga o le GAN (faiga ESRGAN) 🎭
O GANs (Generative Adversarial Networks) e toleniina se generator e gaosia ni ata maualuga le iugafono e le mafai e se tagata fa'ailoga ona iloa le eseesega mai ata moni (Generative Adversarial Networks).
-
Lelei: auiliiliga malosi, foliga mataʻina
-
Le lelei: e mafai ona fatuina ni fa'amatalaga auiliili e le'i iai - o nisi taimi e sese, o nisi taimi e le mafaamatalaina (SRGAN, ESRGAN)
E mafai e se GAN ona avatu ia te oe le ma'ai e te ofo ai. E mafai foi ona avatu i lau tagata o lo'o i ai le ata se fulufulumata fa'aopoopo. O lea la... filifili au taua 😬
3) Fa'ateleina fa'avae i luga o le fa'asalalauina (le fa'asologa o mea e fatuina) 🌫️➡️🖼️
E faasolosolo malie ona aveese e faʻataʻitaʻiga o le faʻasalalauina le pisa ma e mafai ona taʻitaʻia e maua ai faʻamatalaga auiliili maualuga (SR3).
-
Lelei: e mafai ona matuā lelei tele i auiliiliga talafeagai, aemaise lava mo galuega foafoa
-
Le lelei: e mafai ona see ese mai le faasinomaga/fausaga muamua pe afai e faigata tulaga (SR3)
O iinei e amata ai ona fa'afefiloi le "fa'aleleia atili" ma le "toe mafaufauina." O nisi taimi o le mea tonu lava lea e te mana'o ai. O nisi taimi e leai.
4) Fa'aleleia atili o le vitio i taimi fa'atulagaina 🎞️
O le fa'aleleia atili o vitio e masani ona fa'aopoopoina ai le mafaufau e iloa ai le gaioiga:
-
Fa'aaogā fa'avaa tuaoi e fa'amautu ai fa'amatalaga auiliili (BasicVSR (CVPR 2021))
-
Taumafai e 'alo'ese mai mea e fe'ilafi ma mea e totolo
-
E masani ona tu'ufa'atasia le super-resolution ma le denoise ma le deinterlacing (Topaz Video)
Afai o le fa'aleleia atili o ata e pei o le toe fa'afo'isia o se ata vali, o le fa'aleleia atili o vitio e pei o le toe fa'afo'isia o se tusi e aunoa ma le suia o le foliga o le isu o le tagata i itulau ta'itasi. O le mea lea… e sili atu ona faigata nai lo le mea e foliga mai ai.
Aiseā e foliga pepelo ai le faʻaleleia atili o le AI i nisi taimi (ma le auala e iloa ai) 👀🚩
E lē manuia le fa'aleleia atili o le AI i ni auala e iloagofie. A e a'oa'oina ia mamanu, o le a e va'aia i soo se mea, e pei o le fa'atauina o se ta'avale fou ma fa'afuase'i ona e matauina lena fa'ata'ita'iga i auala uma 😵💫
O fa'amatalaga masani:
-
Fufuluina o le pa'u i foliga (tele naua le denoise + fa'alelei)
-
O foliga o le malamalama ua soona fa'ama'ai i tafatafa o pito (o le teritori masani o le "overshoot") (Bicubic interpolation)
-
O mamanu fa'asolosolo (o puipui piliki e avea ma mamanu kopi ma faapipii)
-
Fa'atusatusaga laiti ma'ale'ale e pei o le "algorithm"
-
Fa'aleagaina o tusitusiga lea e toetoe lava a avea ai mata'itusi ma mata'itusi (o le ituaiga sili ona leaga)
-
Fa'asolosologa o fa'amatalaga au'ili'ili lea e suia fa'alilolilo ai foliga laiti, aemaise lava i galuega fa'asalalau (SR3)
O le vaega faigata: o nisi taimi e foliga "lelei" atu nei meafaitino i le tepa tasi. E fiafia lou faiʻai i mea e maʻai. Ae a mavae sina taimi, e lagona ... e le saʻo.
O se togafiti lelei o le fa'alatalata fa'aitiiti ma siaki pe foliga masani i le mamao masani e va'ai ai. Afai e na'o le 400% le matagofie e foliga lelei ai, e le o se manumalo lena, ae o se mea e fiafia i ai 😅
Auala e galue ai le AI Upscaling: le itu o aʻoaʻoga, e aunoa ma le tiga o le ulu i le matematika 📉🙂
O le aʻoaʻoina o faʻataʻitaʻiga sili ona lelei e masani ona aofia ai:
-
Fa'amaumauga fa'apipi'i (fa'aulufalega maualalo, fa'amoemoega maualuga) (Ata Super-Resolution e fa'aaoga ai Deep Convolutional Networks (SRCNN))
-
Galuega fa'atino o le leiloa e fa'asalaina ai toe fausiaina sese (SRGAN)
Itūaiga masani o leiloa:
-
Leiloa o le pixel (L1/L2)
Fa'amalosia le sa'o. E mafai ona maua ni taunuuga vaivai teisi. -
Leiloa o le Va'aiga
Fa'atusatusa foliga loloto (e pei o le "e foliga tutusa ea lenei mea") nai lo pixels tonu (Perceptual Losses (Johnson et al., 2016)). -
Leiloa Fa'a'ole'ole (GAN)
E fa'amalosia ai le moni, o nisi taimi i le tau o le sa'o moni (SRGAN, Generative Adversarial Networks).
E iai lava se feto'ai faifai pea:
-
Ia faamaoni i le uluai
vs -
Ia matagofie i le vaai
E eseese nofoaga e tu'u ai meafaigaluega i lea vaega. Ma atonu e te mana'o i se tasi e fuafua i le pe o e toe fa'afo'isia ata o le aiga pe saunia se pepa fa'asalalau e sili atu ona taua ai le "matagofie" nai lo le sa'o o su'esu'ega fa'amasino.
Faiga o galuega aogā: ata, ata tuai, anime, ma vitio 📸🧾🎥
Ata (ata o fale, laufanua, ata o oloa)
O le faiga sili ona lelei e masani lava:
-
Fa'aitiitia muamua le pisa (pe a mana'omia)
-
Fa'alelei ma fa'atulagaga fa'asao
-
Fa'aopoopo i ai fatu pe a foliga lamolemole tele (ioe, e moni)
E pei o le masima le saito. E fa'aleagaina ai le 'aiga o le afiafi pe a tele naua, ae e leai se mea e mafai ona lagona ai sina mafolafola 🍟
Ata tuai ma ata ua matua fa'apipi'i
E faigata atu nei mea auā e ono taulimaina e le faʻataʻitaʻiga poloka faʻapipiʻi o se "mea."
Taumafai:
-
Aveeseina po'o le aveeseina o mea fa'alenatura
-
Ona fa'alelei lea
-
Ona fa'asa'o māmā lea (e le tele naua… Ou te iloa, e fai mai tagata uma faapena, ae ui i lea)
Anime ma ata laina
O fa'amanuiaga o le faatufugaga laina mai:
-
Faʻataʻitaʻiga e faʻasaoina ai pito mama
-
Fa'aitiitia le fa'aaliga o le ata
O le fa'aleleia atili o le anime e masani ona foliga lelei ona o foliga e faigofie ma tutusa. (Manuia.)
Vitio
E fa'aopoopo e le vitio ni la'asaga fa'aopoopo:
-
Denoise
-
Deinterlace (mo nisi punaoa)
-
Fa'alelei
-
Fa'alelei po'o le fa'amautuina fa'avaitaimi (BasicVSR (CVPR 2021))
-
Toe fa'aopoopoina o saito mo le felagolagoma'i
Afai e te misia le tutusa o taimi, e te maua ai le emo o le fa'a'ila'ila o fa'amatalaga. A e matauina loa, e le mafai ona e toe fa'agaloina. E pei o se nofoa e pi'o i totonu o se potu filemu 😖
Filifiliga o tulaga e aunoa ma le mateina fa'afuase'i (o se tama'i pepa fa'ata'ita'i) 🎛️😵💫
O se mafaufauga lelei lenei e amata ai:
-
Afai e foliga palapalā foliga
, fa'aitiitia le fa'aitiitia o le pisa, fa'aitiitia le fa'asa'oina o mea, fa'ata'ita'i se fa'ata'ita'iga po'o se faiga e puipuia ai foliga. -
Afai e foliga malosi tele foliga vaaia,
fa'aopopo i lalo fa'asolosolo o le "fa'aleleia atili o fa'amatalaga au'ili'ili" po'o le "toe fa'aleleia o fa'amatalaga au'ili'ili", fa'aopoopo i ai ni fasi la'au manifinifi pe a uma. -
Afai e pupula pito,
fa'aitiitia le fa'amata'uina, siaki filifiliga e taofia ai le fa'amama'aina o 'halo'. -
Afai e foliga mai e "AI" tele le ata,
ia fa'aeteete atili. O nisi taimi o le gaioiga sili ona lelei o le… fa'aitiitia.
Ma le isi: aua le fa'ateleina le 8x ona e te mafaia. O le 2x po'o le 4x mama e masani lava o le mea sili lea. E le gata i lea, o lo'o e talosagaina le fa'ata'ita'iga e tusi ni tala fatu e uiga i au pixels 📖😂
Amioga mama, fa'amaoni, ma le fesili faigata o le "upu moni" 🧭😬
O le fa'aleleia atili o le AI e fa'anenefu ai se laina:
-
O le toe fa'aleleia o lona uiga o le toe fa'afo'isia o mea sa i ai
-
O le fa'aleleia atili o lona uiga o le fa'aopoopoina lea o le mea e le'i iai
Mo ata patino, e masani lava e lelei (ma matagofie). I le tusitala, faʻamaoniga faaletulafono, ata faafomaʻi, poʻo soʻo se mea e taua ai le faʻamaoni… e tatau ona e faʻaeteete (OSAC/NIST: Taiala Faʻatonu mo le Pulega o Ata Faʻatekinolosi Faʻatekinolosi, Taiala SWGDE mo le Suʻesuʻega o Ata Faʻatekinolosi).
O se tulafono faigofie:
-
Afai e maualuga le tulaga lamatia, ia vaʻai i le faʻaleleia atili o le AI e fai ma faʻataʻitaʻiga, ae le o se faʻamaoniga mautinoa.
E tāua fo'i le fa'asalalauina o fa'amatalaga i tulaga fa'apolofesa. E lē ona o le leaga o le AI, ae ona e tatau i tagata maimoa ona iloa pe na toe fausia pe na pu'eina ni fa'amatalaga auiliili. O le mea lena... o le faaaloalo.
Fa'amatalaga fa'ai'u ma se aotelega pu'upu'u 🧡✅
O lea la, o le auala e galue ai le AI Upscaling e faapenei: e aoao e faataitaiga pe faapefea ona fesootai auiliiliga maualuluga iugafono ma mamanu maualalo iugafono, ona vavalo lea i pixel faaopoopo talitonuina i le taimi o le upscaling (Deep Learning for Image Super-resolution: A Survey). E faalagolago i le aiga faataitaiga (CNN, GAN, diffusion, video-temporal), o lena valo'aga e mafai ona faasao ma faamaoni ... pe lototoa ma o nisi taimi e le mautonu 😅
Aotelega vave
-
O le fa'alauteleina masani o le fa'alauteleina o pixels (Bicubic interpolation)
-
O le fa'aleleia atili o le AI e vavalo ai fa'amatalaga o lo'o misi e fa'aaoga ai mamanu ua a'oa'oina (Image Super-Resolution Using Deep Convolutional Networks (SRCNN))
-
E maua ni taunuuga lelei mai le faʻataʻitaʻiga saʻo + taofiofia
-
Ia mata'ituina ni 'olo, foliga pei o se pulu, ni foliga e fai soo, ma ni emo i le vitio (BasicVSR (CVPR 2021))
-
O le fa'aleleia atili o le tulaga e masani lava o le "toe fausiaina talafeagai," ae le o le upu moni atoatoa (SRGAN, ESRGAN)
Afai e te manaʻo ai, taʻu mai ia te aʻu mea o loʻo e faʻaleleia (foliga, ata tuai, vitio, anime, scans o tusitusiga), ma o le a ou fautuaina atu se fuafuaga faʻatulagaina e masani ona ʻalofia ai faʻafitauli masani o le "foliga AI" 🎯🙂
Faʻataʻitaʻiga moni: Faʻaleleia atili o ata tuai o oloa i le maketi 📸
Tulaga
O se faleoloa mea pueata fa'aoga tuai la'ititi e 40 ata o oloa ua auina atu i fafo mai se upega tafa'ilagi tuai i le 800px le lautele. E mana'o le pule e toe fa'aaogaina i se itulau fou e-commerce, lea o le tele fautuaina o le ata e 1,600px le lautele.
O le faʻafitauli: o le toe faʻaleleia masani o le lapoʻa e foliga vaivai ai meapueata, ae o le faʻaleleia atili o le AI e mafai ona faʻaalia ai e masalomia le pepelo o uu paʻu, numera faʻasolosolo, ma faʻailoga o tioata. E taua tele lena mea aua e faʻalagolago tagata faʻatau i na faʻamatalaga aʻo leʻi faʻatauina.
O le sini e lē o le "toe faʻafoʻisia" atoatoa o faʻamatalaga ua misi. Ae o le fatuina lea o ni ata o le lisi e sili atu ona mamā aʻo faʻatumauina pea faila muamua, auā o le faʻaleleia atili o le AI e vavaloina ai faʻamatalaga talafeagai nai lo le faʻamautinoaina o le moni.
O mea e manaʻomia e le faiga o galuega
Ata muamua o oloa, e sili ai pe a fa'aaogaina ata e sili ona faigofie ona fa'apu'upu'uina
O le tele o le galuega faatino e fa'amoemoeina, e pei o le 2× upscale mai le 800px i le 1,600px lautele
O se meafaigaluega po'o se fa'ata'ita'iga e iai ni fa'atonutonu eseese mo le fa'aitiitia o le pisa, fa'asa'oina, ma le aveeseina o mea taulima
O se lisi siaki faigofie mo tusitusiga, pito, logos, sikulima, faamau, fatu pa'u, ma ata
O se faila mo uluai tusitusiga ma se isi faila mo fa'amaumauga ua fa'asa'oina, o lea e leai se mea e toe tusia i luga o le initaneti
Fa'atonuga fa'ata'ita'i
Faaaoga lenei ituaiga faatonuga pe a tofotofoina se AI upscaler:
Fa'ateleina le ata o lenei oloa i le 2× mo se lisi i luga o le initaneti. Ia tausia le foliga o le mea faitino, le tulaga o le logo, fa'ailoga o le tioata, pito o le fa'amau, ma le foliga o le luga e latalata i le ata muamua pe a mafai. Fa'aaoga se fa'amamāga māmā, fa'ama'ai faigofie, ma 'alo'ese mai le faia o ni tusitusiga fa'aopoopo, maosi, fa'ailoga, numera fa'asolosolo, po'o ni fa'amatalaga teuteu. E tatau ona foliga masani le ata mulimuli i le tele masani o le itulau o oloa, ae le o le ma'ai fa'apitoa i le 400% zoom.
Auala e fa'ata'ita'i ai
Amata i ata fefiloi e lima a'o le'i fa'agasoloina le vaega atoa:
Tasi le ata mama o le oloa ma le malamalama lelei
Tasi le ata ua fa'apipi'iina i le JPEG ma ua poloka
Tasi le ata ma ni tusitusiga lolomi laiti pe ni fa'ailoga o le tioata
Tasi le ata pogisa ma le pisa i le pogisa
Tasi le ata ma le u'amea po'o le tioata e atagia mai ai
A uma ona fa'aleleia atili le fa'ata'ita'iga, fa'atusatusa taunuuga ta'itasi ma le uluai fa'ata'ita'iga i le 100% ma le 200%. Siaki pe tutusa pea igoa o fa'ailoga, fa'amau, sikulima, ports, ma mamanu o foliga. Afai e foliga mai o ni "mata'itusi" pe foliga pepelo fo'i le foliga o le fa'ata'ita'iga, fa'aitiitia le fa'atulagaga o le fa'asa'oina po'o le toe fa'aleleia o fa'amatalaga.
I'uga
Fa'ai'uga fa'aata: e fa'avae i luga o le taimi o se su'ega e lima-ata a'o le'i fa'aogaina ma ina ua mae'a ona fa'aogaina lenei faiga o galuega.
O le fa'amamāina ma le toe fa'atulagaina e tusa ma le 9 minute mo ata ta'itasi, pe 45 minute mo ata e lima.
E tusa ma le 3 minute le umi o le faagasologa o galuega e fesoasoani i ai le AI i ata taʻitasi, pe 15 minute mo ata e lima.
E tusa ma le 30 minute e sefe ai i ata e lima, pe tusa ma le 4 itula e sefe ai i se vaega e 40 ata.
I'uga o le siaki lelei: 4 mai le 5 ata na pasia le iloiloga muamua. E tasi le ata na le manuia ona o le fa'aleleia atili o le ata na fa'api'opi'o ai tusitusiga laiti o le tioata, o lea na toe fa'agasolo ai i se fa'amama maualalo ma leai se fa'aleleia atili o tusitusiga.
O le fua fa'atatau tāua iinei e lē na'o le "foliga manino". Ae o le: e fia ata e pasia se iloiloga fa'atasi e aunoa ma ni fa'amatalaga na fatuina?
O a mea e ono sese
E mafai e le faʻataʻitaʻiga ona liua le pefu, poloka JPEG, poʻo maosi i se mamanu "moni".
E mafai e tusitusiga laiti ona avea ma tusitusiga pepelo e foliga mai e talitonuina se'iloga e te fa'alatalata i luma.
O le tele naua o le denoise e mafai ona foliga mai ai o se pulu le pa'u, pa'u, po'o se u'amea ua oloina.
O le fa'asa'oina malosi e mafai ona faia ai ni pale e si'omia ai pito o oloa.
E mafai e le fa'agasologa fa'aputuga ona natia mea sese, o lea toe iloilo se fa'ata'ita'iga a'o le'i auina atu mea uma.
Mo fefaʻatauaʻiga i luga o le initaneti, o le tulafono sili ona saogalemu e faigofie lava: aua neʻi faʻaaogaina le faʻaleleia atili o le AI e nana ai mea ua faaleagaina, sui ai tulaga, pe faʻafoliga fou ai se oloa nai lo le mea sa i ai muamua.
Mea'ai aogā e 'ai fua
E sili ona lelei le fa'aleleia atili o le AI pe a e va'aia e pei o se la'asaga fa'auma fa'atonutonu, ae le o se fa'amau fa'ataulaitu. Faaaoga fa'atulagaga fa'asao 2×, siaki fa'amatalaga e popole i ai tagata fa'atau, ma tausi le ata muamua ina ia tumau pea le talitonuina o le lomiga ua fa'asa'oina.
Faʻataʻitaʻiga moni: Faʻaleleia atili o se vitio aʻoaʻoga tuai e aunoa ma le faʻapupulaina
Tulaga
O lo'o i ai i se kamupani la'ititi a'oa'oga se vitio fa'ata'ita'iga saogalemu e 7 minute le umi na pu'eina i le 2014 i le 720p. O lo'o iai pea le taua o le anotusi, ae o le ata e foliga vaivai i luga o le upega tafa'ilagi fou a le kamupani, aemaise lava i luga o laupepa tetele o komepiuta feavea'i.
O loʻo manaʻo le 'au e auina atu i fafo se lomiga e sili atu ona mamā 1080p e aunoa ma le toe faia o se toe pueina o ata. O le lamatiaga, o le faʻaleleia atili o le AI e mafai ona faʻaalia ai foliga e pei o se pulu, liua tusitusiga i luga o faʻailoga i ni "toetoe lava o ni upu", pe fatuina ai se foliga e feilafi mai le tasi faʻavaa i le isi faʻavaa.
O le sini e lē o le faia o le vitio ia foliga fou. Ae ia fa’amanino atili, mautu, ma fa’aitiitia le fa’apu’upu’u a’o tausia pea foliga o le faia’oga, fa’ailoga lapata’i, gaioiga o lima, ma fa’amatalaga o le meafaigaluega ia tutusa ma le uluai vitio.
O mea e manaʻomia e le faiga o galuega
Faila vitio muamua, ae lē o se faila ua fa'apipi'iina mai i luga o ala o faasalalauga lautele pe a mafai
Fa'atatau le tele o le auina atu i fafo, e pei o le 720p i le 1080p nai lo le oso sa'o i le 4K
O se fa'aleleia atili o vitio ma filifiliga mo le denoise, sharpening, compress repair, ma le temporal consistency
O se vitio puupuu e fa'aalia ai foliga, gaioiga, tusitusiga, ma foliga auiliili
O se lisi siaki mo le emo, halo, tusitusiga pi'o, foliga o foliga, ma pito fe'avea'i
O se kopi ua teuina o le vitio muamua mo le faʻatusatusaga ma le faʻasalalauina pe a manaʻomia
Fa'atonuga fa'ata'ita'i
Faaaoga lenei ituaiga faʻatonuga aʻo leʻi faʻagasoloina le vitio atoa:
Fa'aleleia atili lenei vitio a'oa'oga 720p i le 1080p. Fa'amuamua le gaioiga masani, pito mautu, tusitusiga o lo'o iai e mafai ona faitauina, ma le foliga moni o le pa'u. Fa'aaoga le fa'aleleia o le fa'apipi'iina ma le fa'asa'oina faigofie. 'Aua le fatuina ni tusitusiga, logos, fa'ailoga, maosi, fa'amatalaga o foliga, po'o fa'ailoga o meafaigaluega ua misi. 'Alo'ese mai le susulu mai le fa'avaa i le fa'avaa. E tatau ona manino lelei le i'uga i le tele masani o le matamata, ae le o le ma'ai fa'apitoa pe a taofi ma fa'alautele.
Auala e fa'ata'ita'i ai
A'o le'i fa'agasoloina le faila atoa e 7-minute, auina atu i fafo se fa'ata'ita'iga e 20-sekone e aofia ai:
O foliga o le faiaʻoga aʻo tautala
O se lima o loʻo fealuaʻi i luga o le faʻavaa
O se fa'ailoga lapatai po'o se tusitusiga la'ititi ua lolomiina
O se mea e manifinifi, e pei o ie, sima, uʻamea ua oloina, poʻo palasitika
O se mea pu'eata po'o so'o se gaioiga gatete
Matamata faalua i le faataitaiga: tasi i le saoasaoa masani ma le tasi taofi i le faavaa i le faavaa. I le saoasaoa masani, vaavaai mo ni emo, ni foliga totolo, po o ni gaioiga e le masani ai i tafatafa o pito. A taofi, faatusatusa lomiga muamua ma lomiga ua faaleleia e siaki ai pe o tutusa pea tusitusiga, faamau, meafaigaluega, ma foliga vaaia.
I'uga
O se faʻataʻitaʻiga o le iʻuga: e faʻavae i luga o le taimi e tasi o se vitio suʻega e 20-sekone le umi ona faʻaaoga lea o faʻatulagaga lava e tasi i se vitio e 7-minute le umi.
O le faiga o le "toe fa'aleleia ma fa'asa'o" e tusa ma le 35 minute le umi, e aofia ai le auina atu i fafo ma le toe iloiloina, ae o le i'uga na fa'aalia ai le pupula vaaia i le lauulu o le faia'oga ma malamalama o lo'o siomia ai fa'ailoga o le saogalemu.
E tusa ma le 55 minute le umi o le faagasologa o galuega na fesoasoani i ai le AI e aofia ai ma suega auina atu i fafo, ae na faaitiitia ai faafitauli o le iloiloga mai faafitauli vaaia e 8 i le auina atu muamua i fafo i faafitauli laiti e 2 i le auina atu mulimuli.
O le lomiga mulimuli na pasia ai siaki e 10 mai le 12 i le lisi siaki. O fa'afitauli e lua na totoe o le vaivai teisi o tusitusiga i tua ma le pisa teisi i le tasi tulimanu pogisa. Na taliaina uma ia mea ona o le faia'oga, meafaigaluega, ma la'asaga saogalemu na tumau pea le tutusa o foliga vaaia.
O le fua fa'atatau tāua iinei e lē o le “1080p ua ausia”. Ae o le: e fia sekone o le vitio o lo'o fa'aalia ai ni mea fa'alavelave i le taimi e toe ta'alo ai i le taimi masani?
O a mea e ono sese
E mafai e le faʻataʻitaʻiga ona faʻamaʻai poloka faʻapipiʻi ma faʻafoliga mai ai e pei o se mea moni lava.
E mafai e tusitusiga lelei ona foliga mai e sili atu ona mautinoa ae e le sa'o.
E mafai ona lamolemole tele foliga pe afai e maualuga tele le denoise.
E mafai ona emo'e pito o lo'o gaoioi pe afai e so'ona fa'aogaina e le meafaigaluega ia fa'avaa ta'itasi.
E mafai ona foliga leaga atu le auina atu i fafo o le 4K nai lo le auina atu i fafo o le 1080p e aunoa ma se tapulaa ona e tatau i le faʻataʻitaʻiga ona fatuina le tele o faʻamatalaga auiliili.
O le mea sese tele o le fa'amasinoina lea o se ata ua taofia. E tatau ona foliga masani le fa'aleleia atili o le vitio pe a gaoioi, ae le na'o se ata mata'ina.
Mea'ai aogā e 'ai fua
Mo vitio, e sili ona lelei le fa'aleleia atili o le AI pe a e fa'ata'ita'i muamua se vaega pu'upu'u, fa'atumauina le maualuga e tauagafau, ma fa'amasino le gaioiga a'o le'i ma'ai. O se taunuuga e fai si vaivai ae mautu e masani lava ona sili atu nai lo se fa'ata'ita'iga manino e emo i taimi uma e gaoioi ai se tasi.
Fesili e Masani Ona Fesiligia
Fa'aleleia atili o le AI ma le auala e galue ai
O le fa'aleleia atili o le AI (e masani ona ta'ua o le "super-resolution") e fa'ateleina ai le iugafono o se ata e ala i le vavaloina o fa'amatalaga maualuga e misi mai mamanu na a'oa'oina i le taimi o a'oa'oga. Nai lo le na'o le fa'alauteleina o pixels e pei o le bicubic interpolation, e su'esu'e e se fa'ata'ita'iga pito, textures, foliga, ma tusitusiga e pei o tusitusiga, ona fa'atupuina lea o fa'amatalaga pixel fou e ogatasi ma na mamanu na a'oa'oina. E itiiti ifo le "toe fa'afo'isia o le mea moni" ma sili atu le "faia o se mate'i talitonuina" e faitauina e pei o se mea masani.
Fa'aleleia atili o le AI e fa'atusatusa i le bicubic po'o le toe fa'aleleia masani
O auala masani o le fa'aleleia atili (e pei o le bicubic) e masani ona fa'afefiloi i le va o pixels o lo'o iai, e fa'alelei ai suiga e aunoa ma le faia o ni fa'amatalaga fou moni. O le fa'aleleia atili o le AI e fa'amoemoe e toe fausia se fausaga talafeagai e ala i le iloaina o fa'ailoga vaaia ma vavalo pe fa'apefea foliga o fa'ata'ita'iga maualuga-res o na fa'ailoga. O le mafua'aga lea e mafai ai ona lagona lelei tele ai taunu'uga o le AI, ma le mafua'aga fo'i e mafai ai ona latou fa'alauiloa mai ni mea faitino po'o ni fa'amatalaga "fausia" e le'i iai i le punaoa.
Aiseā e foliga mai ai foliga e pei o le pulu pe lamolemole tele
O foliga pa'epa'e e masani ona mafua mai i le fa'amamaina ma le fa'alelei malosi fa'atasi ai ma le fa'asa'oina e aveese ai le natura o le pa'u. E tele meafaigaluega e fa'apena fo'i ona taulimaina le pisa ma le mamanu manifinifi, o lea o le "fa'amamaina" o se ata e mafai ona tapeina ai pu ma fa'amatalaga laiti. O se auala masani o le fa'aitiitia lea o le fa'amamaina ma le fa'asa'oina, fa'aaoga se faiga e puipuia ai foliga pe a maua, ona toe fa'aofi lea o sina pa'i o le saito ina ia lagona ai le itiiti ifo o le palasitika ma sili atu ona pu'eina ata.
Mea masani e tatau ona mata'ituina mo le fa'aleleia atili o le AI
O fa'ailoga masani e aofia ai halo i tafatafa o pito, mamanu o le fausaga faifai pea (e pei o piliki kopi-fa'apipi'i), micro-contrast malū, ma tusitusiga e liua i "toetoe lava o mata'itusi." I galuega fa'atino e fa'avae i luga o le diffusion, e mafai fo'i ona e va'aia le fa'asolosolo o auiliiliga pe a suia fa'alelei foliga laiti. Mo vitio, o le fe'ilafi ma auiliiliga totolo i luga o fa'avaa o ni fa'ailoga tetele ia. Afai e foliga lelei i le zoom tele, atonu e faigata tele fa'atulagaga.
E faʻapefea ona eseese taunuʻuga o GAN, CNN, ma diffusion upscalers
O le super-resolution e faʻavae i luga o le CNN e masani ona mautu ma sili atu ona vavaloina, ae e mafai ona foliga mai ua "faʻagasolo" pe a faʻamalosi malosi. O filifiliga e faʻavae i luga o le GAN (faiga ESRGAN) e masani ona maua ai se foliga malosi ma se lagona maʻai, ae e mafai ona latou faʻafoliga sese faʻamatalaga, aemaise lava i foliga. O le faʻalauteleina e faʻavae i luga o le diffusion e mafai ona maua ai ni faʻamatalaga matagofie ma talafeagai, ae atonu e seʻe ese mai le fausaga muamua pe afai e malosi tele le taʻiala poʻo le malosi.
O se fuafuaga fa'atino mo le 'alofia o se foliga "AI tele"
Amata i le fa'asao: fa'ateleina le 2× po'o le 4× a'o le'i o'o i ni mea e sili ona ogaoga. Afai e foliga mai e le manino foliga, toe fa'aitiitia le denoise ma le sharpening ma taumafai i se faiga e iloa ai foliga. Afai e matua'i malosi tele foliga, fa'aitiitia le fa'aleleia atili o fa'amatalaga ma mafaufau e fa'aopoopo ni fasi tioata laiti mulimuli ane. Afai e pupula pito, fa'aitiitia le sharpening ma siaki le taofia o le halo po'o mea totino. I le tele o paipa, e manumalo le "itiiti" aua e fa'asaoina ai le moni talitonuina.
Taulimaina o ata tuai ua uma ona siakiina pe o ata ua matua fa'apipi'iina i le JPEG a'o le'i fa'ateleina le fa'aleleia atili
E faigata ata fa'apipi'i ona e mafai e fa'ata'ita'iga ona taulimaina mea faitino poloka e pei o se mamanu moni ma fa'ateleina. O se faiga masani o le ave'esea muamua o mea faitino po'o le aveeseina o poloka, ona fa'ateleina lea, ona fa'amama māmā lea pe a mana'omia. Mo su'esu'ega, o le fa'amamāina mālū e mafai ona fesoasoani i le fa'ata'ita'iga e taula'i i le fausaga moni nai lo le fa'aleagaina. O le sini ia fa'aitiitia "fa'ailoga o le mamanu pepelo" ina ia le fa'amalosia le fa'aleleia e faia ni mate'i mautinoa mai mea e ulufale mai e pisapisao.
Aiseā e faigata ai le fa'aleleia atili o vitio nai lo le fa'aleleia atili o ata
E tatau ona tutusa le fa'aleleia atili o le vitio i fa'avaa eseese, ae le na'o le lelei i le tasi ata e le minoi. Afai e fe'ilafi fa'amatalaga mai fa'avaa e tasi, e vave ona fa'alavelaveina ai le i'uga. O auala e taula'i i vitio e fa'aogaina fa'amatalaga fa'avaitaimi mai fa'avaa tuaoi e fa'amautu ai le toe fausiaina ma 'alo'ese ai mai mea e feilafi. O le tele o galuega e aofia ai fo'i le denoise, deinterlacing mo nisi punaoa, ma le toe fa'aofiina o fatu ina ia lagona le felagolagoma'i o le fa'asologa atoa nai lo le ma'ai fa'apitoa.
Afai e le talafeagai pe lamatia le faʻalagolago i ai o le AI upscaling
E sili ona lelei le fa'aleleia atili o le AI o se fa'aleleia atili, ae le o se fa'amaoniga. I tulaga faigata e pei o le tusitala, fa'amaoniga fa'aletulafono, ata fa'afoma'i, po'o galuega fa'amasino, o le faia o ni pixels "talitonuina" e mafai ona fa'asesēina aua e ono fa'aopoopoina ai fa'amatalaga e le'i pu'eina. O se fa'avaa e sili atu le saogalemu o le fa'aaogaina lea i se auala fa'aata ma fa'ailoa atu o se fa'agasologa a le AI na toe fausia fa'amatalaga. Afai e taua tele le fa'amaoni, ia fa'asaoina mea muamua ma fa'amaumau la'asaga ta'itasi o le fa'agasologa ma le fa'atulagaga.
Fa'asinomaga
-
arXiv - A'oa'oga Loloto mo le Ata Maualuga-mautinoa: O se Su'esu'ega - arxiv.org
-
arXiv - Ata Maualuga-Resolution e faʻaaogaina ai Deep Convolutional Networks (SRCNN) - arxiv.org
-
arXiv - Real-ESRGAN - arxiv.org
-
arXiv - ESRGAN - arxiv.org
-
arXiv - SR3 - arxiv.org
-
NVIDIA Atina'e - NVIDIA DLSS - developer.nvidia.com
-
AMD GPUOpen - FidelityFX Super Resolution 2 - gpuopen.com
-
O le Computer Vision Foundation (CVF) Open Access - BasicVSR: O le Sailiga mo Vaega Taua i le Vitio Super-Resolution (CVPR 2021) - openaccess.thecvf.com
-
arXiv - Feso'ota'iga Fete'ena'iga Tuputupu A'e - arxiv.org
-
arXiv - SRGAN - arxiv.org
-
arXiv - Leiloa o le Va'aiga (Johnson et al., 2016) - arxiv.org
-
GitHub - Real-ESRGAN repo (filifiliga o le tile) - github.com
-
Wikipedia - Fa'aopoopoga o le Bicubic - wikipedia.org
-
Topaz Labs - Ata o Topaz - topazlabs.com
-
Topaz Labs - Vitio Topaz - topazlabs.com
-
Nofoaga Fesoasoani a Adobe - Adobe Enhance > Super Resolution - helpx.adobe.com
-
NIST / OSAC - Taiala Masani mo le Pulega o Ata Faatekinolosi Fa'atekinolosi (Lomiga 1.0) - nist.gov
-
SWGDE - Taiala mo le Su'esu'ega o Ata Fa'apitoa - swgde.org