E fa'apefea ona galue le fa'aleleia atili o le AI

E fa'apefea ona galue le AI Upscaling?

Tali puupuu: E galue le fa'aleleia atili o le AI e ala i le a'oa'oina o se fa'ata'ita'iga i luga o ata fa'apipi'i maualalo ma maualuga le iugafono, ona fa'aaoga lea e vavalo ai ni pixel fa'aopoopo talitonuina i le taimi o le fa'aleleia atili. Afai ua va'aia e le fa'ata'ita'iga ni foliga tutusa po'o ni foliga i le taimi o a'oa'oga, e mafai ona fa'aopoopoina ni fa'amatalaga fa'atalitonuina; a leai, e ono "fa'afoliga sese" o ni mea faitino e pei o ni 'apo'apo'a, pa'u pei o se pulu, po'o ni emo i le vitio.

Manatu autū:

Valoaga : O le faʻataʻitaʻiga e faʻatupuina ai faʻamatalaga auiliili e mafai ona talitonuina, ae le o se toe faʻatulagaina mautinoa o le mea moni.

Filifiliga o le faʻataʻitaʻiga : E masani ona mautu CNNs; e mafai ona foliga maʻai GANs ae e ono iai ni foliga fou.

Siakiina o mea taulima : Vaavaai mo ni ila o le lagi, o foliga e fai soo, "toeitiiti lava a pei o ni mataitusi", ma foliga palasitika.

Mausali o le vitio : Faaaoga metotia fa'atulagaina o taimi a leai o le a e va'aia le susulu ma le fe'avea'i mai le tasi fa'avaa i le isi fa'avaa.

Fa'aaogāga e lamatia ai : Afai e taua le sa'o, fa'ailoa mai le fa'agasologa ma fa'aaoga i'uga e fai ma fa'ata'ita'iga.

E fa'apefea ona galue le fa'aleleia atili o le AI? Fa'amatalaga.

Atonu ua e vaʻai i ai: o se ata laʻitiiti ma malō e liua i se mea e lava lona malō e lolomi ai, faʻasalalau, pe tuʻuina i totonu o se faʻaaliga e aunoa ma le mimigi. E pei o se pepelo. Ma - i le auala sili - e pei lava o le 😅

O lea la, o le auala e galue ai le AI Upscaling e oʻo mai i se mea e sili atu ona patino nai lo le "faʻaleleia e le komepiuta faʻamatalaga auiliili" (gaugau lima) ma e latalata i le "vavalo e se faʻataʻitaʻiga se fausaga maualuga e mafai ona faʻatatau i mamanu na aʻoaʻoina mai le tele o faʻataʻitaʻiga" ( Deep Learning for Image Super-resolution: A Survey ). O lena laʻasaga o le vavalo o le taʻaloga atoa lea - ma o le mafuaʻaga lea e mafai ai e le AI upscaling ona foliga matagofie ... pe sina palasitika ... pe pei o le tupu aʻe o lau pusi i ni ava faʻaopoopo.

O tala e te ono fia faitauina pe a uma lenei:

🔗 Auala e galue ai le AI
Aoao mea faavae o faʻataʻitaʻiga, faʻamaumauga, ma faʻaiʻuga i le AI.

🔗 Auala e aʻoaʻoina ai e le AI
Va'ai pe fa'apefea ona fa'aleleia atili e fa'amaumauga o a'oa'oga ma manatu fa'aalia le fa'atinoga o le fa'ata'ita'iga i le aluga o taimi.

🔗 Auala e iloa ai e le AI ni mea e le masani ai
Ia malamalama i laina fa'avae o mamanu ma le auala e vave fa'ailoa ai e le AI amioga e le masani ai.

🔗 Auala e valoia ai e le AI ia aga masani
Su'esu'e metotia e vavalo ai e iloa ai fa'ailo ma va'aia ai le mana'oga i le lumana'i.

Le auala e galue ai le AI Upscaling: o le manatu autū, i upu masani 🧩

O le fa'ateleina o le ata o lona uiga o le fa'ateleina o le iugafono: o le tele o pixels, o le tele o ata. O le fa'ateleina masani (e pei o le bicubic) e fa'alauteleina ai pixels ma fa'alelei ai suiga ( Bicubic interpolation ). E lelei, ae e le mafai ona faia fou - e na'o le fa'aopoopoina.

O le fa'aleleia atili o le AI e taumafai i se mea e sili atu le lototoa (e ta'ua fo'i o le "super-resolution" i le lalolagi o su'esu'ega) ( Deep Learning for Image Super-resolution: O se Su'esu'ega ):

  • E tilotilo i le input maualalo-res

  • Iloa mamanu (pito, fausaga, foliga vaaia, tosi o tusitusiga, lalagaina o ie…)

  • le foliga o se fa'ata'ita'iga maualuga le fa'amalamalamaga

  • Fa'atupuina fa'amatalaga fa'aopoopo o pixel e fetaui ma na mamanu

E lē o le “toe fa’afo’isia atoatoa le mea moni,” ae sili atu le pei o le “faia o se mate’aga e matuā talitonuina” ( Image Super-Resolution Using Deep Convolutional Networks (SRCNN) ). Afai e foliga mai e fai si masalosalo, e te lē o sese - ae o le mafua’aga fo’i lea e aoga lelei ai 😄

Ioe, o lona uiga o le faʻaleleia atili o le AI o se mea e pei o se mafaufauga faʻatusa e pulea ... ae i se auala aoga ma faʻaaloalo i pixels.

O le ā le mea e lelei ai le fa'aleleia atili o le AI? ✅🛠️

Afai o loʻo e faʻamasinoina se AI upscaler (poʻo se seti ua uma ona setiina), o le mea lenei e sili ona tāua:

  • Toe fa'aleleia atili o mea e aunoa ma le soona kuka tele.
    O le fa'aleleia lelei o le fa'asusuina e fa'aopoopoina ai le malū ma le fa'atulagaina, ae le o le pisa malū pe o pu pepelo.

  • Pulea o pito
    E mama laina e tumau pea le mama. O fa'ata'ita'iga leaga e fa'agatete ai pito pe tupu mai ai ni ila.

  • valivali
    e pei o se olo a le pulumu. E le tatau ona avea piliki ma se mamanu e toe fai soo.

  • Taulimaina o le pisa ma le fa'apipi'iina
    O le tele o ata i aso uma e fa'aleagaina i le JPEG. O se fa'aopoopoga lelei e le fa'ateleina ai lena fa'aleagaina ( Real-ESRGAN ).

  • Malamalama i foliga ma tusitusiga
    O foliga ma tusitusiga o nofoaga sili ona faigofie e iloa ai mea sese. O faʻataʻitaʻiga lelei e taulimaina ma le faʻaeteete (pe i ai ni faiga faʻapitoa).

  • Tutusa i fa'avaa (mo vitio)
    Afai e fe'ilafi fa'amatalaga mai le fa'avaa i le fa'avaa, o le a 'alaga ou mata. O le fa'aleleia atili o vitio e ola pe oti ona o le mautu o le taimi ( BasicVSR (CVPR 2021) ).

  • Pulea e talafeagai
    E te manaʻo i ni sliders e faʻatatau i taunuuga moni: denoise, deblur, aveeseina o mea taua, taofia o saito, faʻasaʻoina… o mea aoga.

O se tulafono filemu e tumau pea: o le fa'aleleia atili "sili" e masani lava o le mea e te seasea matauina. E foliga mai sa i ai sau meapueata sili atu i le amataga 📷✨

Siata Fa'atusatusaga: filifiliga lauiloa o le fa'aleleia atili o le AI (ma mea e lelei ai) 📊🙂

O lo'o i lalo se fa'atusatusaga aogā. E le o mautinoa le manino o tau auā e eseese meafaigaluega e tusa ai ma le laisene, afifi, tau o komepiuta, ma isi mea malie uma.

Meafaigaluega / Auala Sili ona lelei mo Viiga o le tau Aiseā e aoga ai (pe tusa o le)
Mea fa'aleleia laulau i le faiga o le Topaz ( Ata o Topaz , Vitio o Topaz ) Ata, vitio, faiga faigofie o galuega Totogi fua Faʻataʻitaʻiga lautele malolosi + tele fetuʻunaʻiga, e foliga mai e "galue lelei" ... tele lava
O foliga vaaia o le ituaiga "Super Resolution" a le Adobe ( Adobe Enhance > Super Resolution ) O tagata pu'e ata ua i ai i lena siosiomaga Lesitala-y Toe fa'atulagaina o fa'amatalaga auiliili, e masani lava ona fa'asao (e itiiti le fa'alavelave)
Eseesega o le Real-ESRGAN / ESRGAN ( Real-ESRGAN , ESRGAN ) Galuega DIY, tagata atia'e, galuega fa'aputu E leai se totogi (ae e tele le taimi e alu ai) Lelei i le fa'alelei o le foliga, e mafai ona ma'ai i foliga pe a e le fa'aeteete
Faiga fa'ateleina e fa'avae i luga o le fa'asalalauina ( SR3 ) Galuega fatufatua'i, taunuuga fa'alelei Fefiloi E mafai ona fatuina ni faʻamatalaga matagofie - e mafai foʻi ona fatuina ni mea valea, o lea la… ioe
Fa'aleleia atili o ta'aloga (faiga DLSS/FSR) ( NVIDIA DLSS , AMD FSR 2 ) Taaloga ma le fa'ata'ita'iga i le taimi moni Fa'aputuina Fa'aaogaina fa'amaumauga o gaioiga ma mea ua uma ona a'oa'oina - fa'atinoga sologa lelei ma manumalo 🕹️
Auaunaga fa'aleleia atili o le ao Faigofie, manumalo vave Totogi i le fa'aaogaina Vave + fa'ateleina, ae e te pulea fefa'ataua'iga ma o nisi taimi e fa'alilolilo
Fa'aleleia atili o le AI e taula'i i vitio ( BasicVSR , Topaz Video ) Ata tuai, anime, faamaumauga Totogi fua Togafiti fa'avaitaimi e fa'aitiitia ai le fe'ilafi + fa'ata'ita'iga vitio fa'apitoa
Fa'aleleia atili o le telefonipoto/falemata'aga Fa'aoga masani Ua aofia ai O faʻataʻitaʻiga mama ua faʻaleleia mo le gaosiga manaia, ae le o le atoatoa (e faigofie lava)

Fa'atulagaina o le ta'utinoga o le quirk: O le "Totogi-ish" o lo'o faia le tele o galuega i lena laulau. Ae ua e malamalama i le manatu 😅

O le mealilo tele: e aʻoaʻoina e faʻataʻitaʻiga se faʻafanua mai le maualalo-res i le maualuga-res 🧠➡️🖼️

O le fatu o le tele o fa'aleleia atili o le AI o lo'o i ai se fa'atulagaga o le a'oa'oina e va'ava'aia ( Image Super-Resolution Using Deep Convolutional Networks (SRCNN) ):

  1. Amata i ata e maualuga le iugafono (le "upu moni")

  2. Fa'aitiitia i latou i ni fa'ata'ita'iga maualalo le iugafono (le "input")

  3. Aoao se faʻataʻitaʻiga e toe fausia ai le ata muamua maualuga-res mai le ata maualalo-res

I le aluga o taimi, e aʻoaʻoina e le faʻataʻitaʻiga ni fesoʻotaʻiga e pei o:

  • "O lenei ituaiga o le le manino o loʻo siomia ai se mata e masani lava ona patino i fulufulumata"

  • "O lenei fa'aputuga pixel e masani ona fa'ailoa mai ai tusitusiga serif"

  • "O lenei fa'asolo o le pito e foliga mai o se laina o le taualuga, ae le o se pisa fa'afuase'i"

E lē o le taulotoina o ni ata patino (i se uiga faigofie), ae o le aʻoaʻoina o le fausaga faʻamaufaʻailoga ( Deep Learning for Image Super-resolution: A Survey ). Mafaufau i ai e pei o le aʻoaʻoina o le kalama o mea e fai ai ma pito. E lē o le kalama o solo, e sili atu ona pei o… kalama tusi lesona a le IKEA 🪑📦 (faʻataʻitaʻiga faigata, ae e toetoe lava tutusa).

O nati ma poloti: o le a le mea e tupu i le taimi o le fa'ai'uga (pe a e fa'aleleia atili) ⚙️✨

A e fafaga se ata i totonu o se AI upscaler, e masani lava ona i ai se pipeline e pei o lenei:

  • Fa'agasologa muamua

  • Fa'a'esea o foliga vaaia

    • O vaega muamua e iloa ai pito, tulimanu, ma feliuliua'iga

    • O vaega loloto e iloa ai mamanu: mea teuteu, foliga, vaega o foliga

  • Toe fausiaina

    • O le faʻataʻitaʻiga e faʻatupuina ai se faʻafanua o foliga e maualuga le iugafono

    • Ona liua lea i le pixel output moni

  • Fa'agasologa pe a uma

    • Fa'asa'oina filifiliga

    • Fa'aitiitia le pisa e filifili ai

    • Taofiofia fa'apitoa o mea fa'aletino (tatagi, halo, poloka)

Tasi le fa'amatalaga ma'ale'ale: o le tele o meafaigaluega e fa'alelei i totonu o ta'i, ona fa'afefiloi lea o so'oga. O meafaigaluega lelei e natia ai tuaoi o ta'i. O meafaigaluega e le tele ni mea e tu'ua ai ni fa'ailoga manifinifi pe a e mimilo mata. Ma ioe, o le a e mimilo mata, aua e fiafia tagata e siaki mea sese laiti i le 300% zoom e pei o gremlins laiti 🧌

O aiga faʻataʻitaʻiga autu na faʻaaogaina mo le faʻaleleia atili o le AI (ma le mafuaʻaga latou te lagona ai le eseese) 🤖📚

1) Fa'amaumauga sili ona lelei e fa'avae i luga o le CNN (le galuega masani a le solofanua)

E sili ona lelei feso'ota'iga neula fa'a-convolutional i mamanu fa'alotoifale: pito, mamanu, fausaga laiti ( Image Super-Resolution Using Deep Convolutional Networks (SRCNN) ).

  • Lelei: vave, mautu, itiiti ni mea e ofo ai

  • Le lelei: e foliga mai e fai si "fa'agasolo" pe a fa'amalosi malosi

2) Fa'aleleia atili fa'avae i luga o le GAN (faiga ESRGAN) 🎭

O GANs (Generative Adversarial Networks) e toleniina se generator e gaosia ni ata maualuga le iugafono e le mafai e se tagata fa'ailoga ona iloa le eseesega mai ata moni ( Generative Adversarial Networks ).

  • Lelei: auiliiliga malosi, foliga mataʻina

  • Le lelei: e mafai ona fatuina ni fa'amatalaga auiliili e le'i iai - o nisi taimi e sese, o nisi taimi e le mafaamatalaina ( SRGAN , ESRGAN )

E mafai e se GAN ona avatu ia te oe le ma'ai e te ofo ai. E mafai foi ona avatu i lau tagata o lo'o i ai le ata se fulufulumata fa'aopoopo. O lea la... filifili au taua 😬

3) Fa'ateleina fa'avae i luga o le fa'asalalauina (le fa'asologa o mea e fatuina) 🌫️➡️🖼️

E faasolosolo malie ona aveese e faʻataʻitaʻiga o le faʻasalalauina le pisa ma e mafai ona taʻitaʻia e maua ai faʻamatalaga auiliili maualuga ( SR3 ).

  • Lelei: e mafai ona matuā lelei tele i auiliiliga talafeagai, aemaise lava mo galuega foafoa

  • Le lelei: e mafai ona see ese mai le faasinomaga/fausaga muamua pe afai e faigata tulaga ( SR3 )

O iinei e amata ai ona fa'afefiloi le "fa'aleleia atili" ma le "toe mafaufauina." O nisi taimi o le mea tonu lava lea e te mana'o ai. O nisi taimi e leai.

4) Fa'aleleia atili o le vitio i taimi fa'atulagaina 🎞️

O le fa'aleleia atili o vitio e masani ona fa'aopoopoina ai le mafaufau e iloa ai le gaioiga:

  • Fa'aaogā fa'avaa tuaoi e fa'amautu ai fa'amatalaga auiliili ( BasicVSR (CVPR 2021) )

  • Taumafai e 'alo'ese mai mea e fe'ilafi ma mea e totolo

  • E masani ona tu'ufa'atasia le super-resolution ma le denoise ma le deinterlacing ( Topaz Video )

Afai o le fa'aleleia atili o ata e pei o le toe fa'afo'isia o se ata vali, o le fa'aleleia atili o vitio e pei o le toe fa'afo'isia o se tusi e aunoa ma le suia o le foliga o le isu o le tagata i itulau ta'itasi. O le mea lea… e sili atu ona faigata nai lo le mea e foliga mai ai.

Aiseā e foliga pepelo ai le faʻaleleia atili o le AI i nisi taimi (ma le auala e iloa ai) 👀🚩

E lē manuia le fa'aleleia atili o le AI i ni auala e iloagofie. A e a'oa'oina ia mamanu, o le a e va'aia i soo se mea, e pei o le fa'atauina o se ta'avale fou ma fa'afuase'i ona e matauina lena fa'ata'ita'iga i auala uma 😵💫

O fa'amatalaga masani:

  • Fufuluina o le pa'u i foliga (tele naua le denoise + fa'alelei)

  • O foliga o le malamalama ua soona fa'ama'ai i autafa (o le vaega masani o le "overshoot") ( Bicubic interpolation )

  • O mamanu fa'asolosolo (o puipui piliki e avea ma mamanu kopi ma faapipii)

  • Fa'atusatusaga laiti ma'ale'ale e pei o le "algorithm"

  • Fa'aleagaina o tusitusiga lea e toetoe lava a avea ai mata'itusi ma mata'itusi (o le ituaiga sili ona leaga)

  • Fa'asolosologa o fa'amatalaga au'ili'ili lea e suia fa'alilolilo ai foliga laiti, aemaise lava i galuega fa'asalalau ( SR3 )

O le vaega faigata: o nisi taimi e foliga "lelei" atu nei meafaitino i le tepa tasi. E fiafia lou faiʻai i mea e maʻai. Ae a mavae sina taimi, e lagona ... e le saʻo.

O se togafiti lelei o le fa'alatalata fa'aitiiti ma siaki pe foliga masani i le mamao masani e va'ai ai. Afai e na'o le 400% le matagofie e foliga lelei ai, e le o se manumalo lena, ae o se mea e fiafia i ai 😅

Auala e galue ai le AI Upscaling: le itu o aʻoaʻoga, e aunoa ma le tiga o le ulu i le matematika 📉🙂

O le aʻoaʻoina o faʻataʻitaʻiga sili ona lelei e masani ona aofia ai:

Itūaiga masani o leiloa:

  • Leiloa o le pixel (L1/L2)
    Fa'amalosia le sa'o. E mafai ona maua ni taunuuga vaivai teisi.

  • Leiloa o le Va'aiga
    Fa'atusatusa foliga loloto (e pei o le "e foliga tutusa ea lenei mea") nai lo pixels tonu ( Perceptual Losses (Johnson et al., 2016) ).

  • Leiloa Fa'a'ole'ole (GAN)
    E fa'amalosia ai le moni, o nisi taimi i le tau o le sa'o moni ( SRGAN , Generative Adversarial Networks ).

E iai lava se feto'ai faifai pea:

  • Ia faamaoni i le uluai
    vs

  • Ia matagofie i le vaai

E eseese nofoaga e tu'u ai meafaigaluega i lea vaega. Ma atonu e te mana'o i se tasi e fuafua i le pe o e toe fa'afo'isia ata o le aiga pe saunia se pepa fa'asalalau e sili atu ona taua ai le "matagofie" nai lo le sa'o o su'esu'ega fa'amasino.

Faiga o galuega aogā: ata, ata tuai, anime, ma vitio 📸🧾🎥

Ata (ata o fale, laufanua, ata o oloa)

O le faiga sili ona lelei e masani lava:

  • Fa'aitiitia muamua le pisa (pe a mana'omia)

  • Fa'alelei ma fa'atulagaga fa'asao

  • Fa'aopoopo i ai fatu pe a foliga lamolemole tele (ioe, e moni)

E pei o le masima le saito. E fa'aleagaina ai le 'aiga o le afiafi pe a tele naua, ae e leai se mea e mafai ona lagona ai sina mafolafola 🍟

Ata tuai ma ata ua matua fa'apipi'i

E faigata atu nei mea auā e ono taulimaina e le faʻataʻitaʻiga poloka faʻapipiʻi o se "mea."
Taumafai:

  • Aveeseina po'o le aveeseina o mea fa'alenatura

  • Ona fa'alelei lea

  • Ona fa'asa'o māmā lea (e le tele naua… Ou te iloa, e fai mai tagata uma faapena, ae ui i lea)

Anime ma ata laina

O fa'amanuiaga o le faatufugaga laina mai:

  • Faʻataʻitaʻiga e faʻasaoina ai pito mama

  • Fa'aitiitia le fa'aaliga o le ata
    O le fa'aleleia atili o le anime e masani ona foliga lelei ona o foliga e faigofie ma tutusa. (Manuia.)

Vitio

E fa'aopoopo e le vitio ni la'asaga fa'aopoopo:

  • Denoise

  • Deinterlace (mo nisi punaoa)

  • Fa'alelei

  • Fa'alelei po'o le fa'amautuina fa'avaitaimi ( BasicVSR (CVPR 2021) )

  • Toe fa'aopoopoina o saito mo le felagolagoma'i

Afai e te misia le tutusa o taimi, e te maua ai le emo o le fa'a'ila'ila o fa'amatalaga. A e matauina loa, e le mafai ona e toe fa'agaloina. E pei o se nofoa e pi'o i totonu o se potu filemu 😖

Filifiliga o tulaga e aunoa ma le mateina fa'afuase'i (o se tama'i pepa fa'ata'ita'i) 🎛️😵💫

O se mafaufauga lelei lenei e amata ai:

  • Afai e foliga palapalā foliga
    , fa'aitiitia le fa'aitiitia o le pisa, fa'aitiitia le fa'asa'oina o mea, fa'ata'ita'i se fa'ata'ita'iga po'o se faiga e puipuia ai foliga.

  • Afai e foliga malosi tele foliga vaaia,
    fa'aopopo i lalo fa'asolo o le "fa'aleleia atili o fa'amatalaga au'ili'ili" po'o le "toe fa'aleleia atili o fa'amatalaga au'ili'ili", fa'aopoopo i ai ni fasi la'au manifinifi pe a mae'a.

  • Afai e pupula pito,
    fa'aitiitia le fa'amata'uina, siaki filifiliga e taofia ai le fa'amama'aina o 'halo'.

  • Afai e foliga mai e "AI" tele le ata,
    ia fa'aeteete atili. O nisi taimi o le gaioiga sili ona lelei o le… fa'aitiitia.

Ma le isi: aua le fa'ateleina le 8x ona e te mafaia. O le 2x po'o le 4x mama e masani lava o le mea sili lea. E le gata i lea, o lo'o e talosagaina le fa'ata'ita'iga e tusi ni tala fatu e uiga i au pixels 📖😂

Amioga mama, fa'amaoni, ma le fesili faigata o le "upu moni" 🧭😬

O le fa'aleleia atili o le AI e fa'anenefu ai se laina:

  • O le toe fa'aleleia o lona uiga o le toe fa'afo'isia o mea sa i ai

  • O le fa'aleleia atili o lona uiga o le fa'aopoopoina lea o le mea e le'i iai

Mo ata patino, e masani lava e lelei (ma matagofie). I le tusitala, faʻamaoniga faaletulafono, ata faafomaʻi, poʻo soʻo se mea e taua ai le faʻamaoni… e tatau ona e faʻaeteete ( OSAC/NIST: Taiala Faʻatonu mo le Pulega o Ata Faʻatekinolosi Faʻatekinolosi , Taiala SWGDE mo le Suʻesuʻega o Ata Faʻatekinolosi ).

O se tulafono faigofie:

  • Afai e maualuga le tulaga lamatia, ia vaʻai i le faʻaleleia atili o le AI e fai ma faʻataʻitaʻiga , ae le o se faʻamaoniga mautinoa.

E tāua fo'i le fa'asalalauina o fa'amatalaga i tulaga fa'apolofesa. E lē ona o le leaga o le AI, ae ona e tatau i tagata maimoa ona iloa pe na toe fausia pe na pu'eina ni fa'amatalaga auiliili. O le mea lena... o le faaaloalo.

Fa'amatalaga fa'ai'u ma se aotelega pu'upu'u 🧡✅

O lea la, o le auala e galue ai le AI Upscaling e faapenei: e aoao e faataitaiga pe faapefea ona fesootai auiliiliga maualuluga iugafono ma mamanu maualalo iugafono, ona vavalo lea i pixel faaopoopo talitonuina i le taimi o le upscaling ( Deep Learning for Image Super-resolution: A Survey ). E faalagolago i le aiga faataitaiga (CNN, GAN, diffusion, video-temporal), o lena valo'aga e mafai ona faasao ma faamaoni ... pe lototoa ma o nisi taimi e le mautonu 😅

Aotelega vave

Afai e te manaʻo ai, taʻu mai ia te aʻu mea o loʻo e faʻaleleia (foliga, ata tuai, vitio, anime, scans o tusitusiga), ma o le a ou fautuaina atu se fuafuaga faʻatulagaina e masani ona ʻalofia ai faʻafitauli masani o le "foliga AI" 🎯🙂

Fesili e Masani Ona Fesiligia

Fa'aleleia atili o le AI ma le auala e galue ai

O le fa'aleleia atili o le AI (e masani ona ta'ua o le "super-resolution") e fa'ateleina ai le iugafono o se ata e ala i le vavaloina o fa'amatalaga maualuga e misi mai mamanu na a'oa'oina i le taimi o a'oa'oga. Nai lo le na'o le fa'alauteleina o pixels e pei o le bicubic interpolation, e su'esu'e e se fa'ata'ita'iga pito, textures, foliga, ma tusitusiga e pei o tusitusiga, ona fa'atupuina lea o fa'amatalaga pixel fou e ogatasi ma na mamanu na a'oa'oina. E itiiti ifo le "toe fa'afo'isia o le mea moni" ma sili atu le "faia o se mate'i talitonuina" e faitauina e pei o se mea masani.

Fa'aleleia atili o le AI e fa'atusatusa i le bicubic po'o le toe fa'aleleia masani

O auala masani o le fa'aleleia atili (e pei o le bicubic) e masani ona fa'afefiloi i le va o pixels o lo'o iai, e fa'alelei ai suiga e aunoa ma le faia o ni fa'amatalaga fou moni. O le fa'aleleia atili o le AI e fa'amoemoe e toe fausia se fausaga talafeagai e ala i le iloaina o fa'ailoga vaaia ma vavalo pe fa'apefea foliga o fa'ata'ita'iga maualuga-res o na fa'ailoga. O le mafua'aga lea e mafai ai ona lagona lelei tele ai taunu'uga o le AI, ma le mafua'aga fo'i e mafai ai ona latou fa'alauiloa mai ni mea faitino po'o ni fa'amatalaga "fausia" e le'i iai i le punaoa.

Aiseā e foliga mai ai foliga e pei o le pulu pe lamolemole tele

O foliga pa'epa'e e masani ona mafua mai i le fa'amamaina ma le fa'alelei malosi fa'atasi ai ma le fa'asa'oina e aveese ai le natura o le pa'u. E tele meafaigaluega e fa'apena fo'i ona taulimaina le pisa ma le mamanu manifinifi, o lea o le "fa'amamaina" o se ata e mafai ona tapeina ai pu ma fa'amatalaga laiti. O se auala masani o le fa'aitiitia lea o le fa'amamaina ma le fa'asa'oina, fa'aaoga se faiga e puipuia ai foliga pe a maua, ona toe fa'aofi lea o sina pa'i o le saito ina ia lagona ai le itiiti ifo o le palasitika ma sili atu ona pu'eina ata.

Mea masani e tatau ona mata'ituina mo le fa'aleleia atili o le AI

O fa'ailoga masani e aofia ai halo i tafatafa o pito, mamanu o le fausaga faifai pea (e pei o piliki kopi-fa'apipi'i), micro-contrast malū, ma tusitusiga e liua i "toetoe lava o mata'itusi." I galuega fa'atino e fa'avae i luga o le diffusion, e mafai fo'i ona e va'aia le fa'asolosolo o auiliiliga pe a suia fa'alelei foliga laiti. Mo vitio, o le fe'ilafi ma auiliiliga totolo i luga o fa'avaa o ni fa'ailoga tetele ia. Afai e foliga lelei i le zoom tele, atonu e faigata tele fa'atulagaga.

E faʻapefea ona eseese taunuʻuga o GAN, CNN, ma diffusion upscalers

O le super-resolution e faʻavae i luga o le CNN e masani ona mautu ma sili atu ona vavaloina, ae e mafai ona foliga mai ua "faʻagasolo" pe a faʻamalosi malosi. O filifiliga e faʻavae i luga o le GAN (faiga ESRGAN) e masani ona maua ai se foliga malosi ma se lagona maʻai, ae e mafai ona latou faʻafoliga sese faʻamatalaga, aemaise lava i foliga. O le faʻalauteleina e faʻavae i luga o le diffusion e mafai ona maua ai ni faʻamatalaga matagofie ma talafeagai, ae atonu e seʻe ese mai le fausaga muamua pe afai e malosi tele le taʻiala poʻo le malosi.

O se fuafuaga fa'atino mo le 'alofia o se foliga "AI tele"

Amata i le fa'asao: fa'ateleina le 2× po'o le 4× a'o le'i o'o i ni mea e sili ona ogaoga. Afai e foliga mai e le manino foliga, toe fa'aitiitia le denoise ma le sharpening ma taumafai i se faiga e iloa ai foliga. Afai e matua'i malosi tele foliga, fa'aitiitia le fa'aleleia atili o fa'amatalaga ma mafaufau e fa'aopoopo ni fasi tioata laiti mulimuli ane. Afai e pupula pito, fa'aitiitia le sharpening ma siaki le taofia o le halo po'o mea totino. I le tele o paipa, e manumalo le "itiiti" aua e fa'asaoina ai le moni talitonuina.

Taulimaina o ata tuai ua uma ona siakiina pe o ata ua matua fa'apipi'iina i le JPEG a'o le'i fa'ateleina le fa'aleleia atili

E faigata ata fa'apipi'i ona e mafai e fa'ata'ita'iga ona taulimaina mea faitino poloka e pei o se mamanu moni ma fa'ateleina. O se faiga masani o le ave'esea muamua o mea faitino po'o le aveeseina o poloka, ona fa'ateleina lea, ona fa'amama māmā lea pe a mana'omia. Mo su'esu'ega, o le fa'amamāina mālū e mafai ona fesoasoani i le fa'ata'ita'iga e taula'i i le fausaga moni nai lo le fa'aleagaina. O le sini ia fa'aitiitia "fa'ailoga o le mamanu pepelo" ina ia le fa'amalosia le fa'aleleia e faia ni mate'i mautinoa mai mea e ulufale mai e pisapisao.

Aiseā e faigata ai le fa'aleleia atili o vitio nai lo le fa'aleleia atili o ata

E tatau ona tutusa le fa'aleleia atili o le vitio i fa'avaa eseese, ae le na'o le lelei i le tasi ata e le minoi. Afai e fe'ilafi fa'amatalaga mai fa'avaa e tasi, e vave ona fa'alavelaveina ai le i'uga. O auala e taula'i i vitio e fa'aogaina fa'amatalaga fa'avaitaimi mai fa'avaa tuaoi e fa'amautu ai le toe fausiaina ma 'alo'ese ai mai mea e feilafi. O le tele o galuega e aofia ai fo'i le denoise, deinterlacing mo nisi punaoa, ma le toe fa'aofiina o fatu ina ia lagona le felagolagoma'i o le fa'asologa atoa nai lo le ma'ai fa'apitoa.

Afai e le talafeagai pe lamatia le faʻalagolago i ai o le AI upscaling

E sili ona lelei le fa'aleleia atili o le AI o se fa'aleleia atili, ae le o se fa'amaoniga. I tulaga faigata e pei o le tusitala, fa'amaoniga fa'aletulafono, ata fa'afoma'i, po'o galuega fa'amasino, o le faia o ni pixels "talitonuina" e mafai ona fa'asesēina aua e ono fa'aopoopoina ai fa'amatalaga e le'i pu'eina. O se fa'avaa e sili atu le saogalemu o le fa'aaogaina lea i se auala fa'aata ma fa'ailoa atu o se fa'agasologa a le AI na toe fausia fa'amatalaga. Afai e taua tele le fa'amaoni, ia fa'asaoina mea muamua ma fa'amaumau la'asaga ta'itasi o le fa'agasologa ma le fa'atulagaga.

Fa'asinomaga

  1. arXiv - A'oa'oga Loloto mo le Ata Maualuga-mautinoa: O se Su'esu'ega - arxiv.org

  2. arXiv - Ata Maualuga-Resolution e faʻaaogaina ai Deep Convolutional Networks (SRCNN) - arxiv.org

  3. arXiv - Real-ESRGAN - arxiv.org

  4. arXiv - ESRGAN - arxiv.org

  5. arXiv - SR3 - arxiv.org

  6. NVIDIA Atina'e - NVIDIA DLSS - developer.nvidia.com

  7. AMD GPUOpen - FidelityFX Super Resolution 2 - gpuopen.com

  8. O le Computer Vision Foundation (CVF) Open Access - BasicVSR: O le Sailiga mo Vaega Taua i le Vitio Super-Resolution (CVPR 2021) - openaccess.thecvf.com

  9. arXiv - Feso'ota'iga Fete'ena'iga Tuputupu A'e - arxiv.org

  10. arXiv - SRGAN - arxiv.org

  11. arXiv - Leiloa o le Va'aiga (Johnson et al., 2016) - arxiv.org

  12. GitHub - Real-ESRGAN repo (filifiliga o le tile) - github.com

  13. Wikipedia - Fa'aopoopoga o le Bicubic - wikipedia.org

  14. Topaz Labs - Ata o Topaz - topazlabs.com

  15. Topaz Labs - Vitio Topaz - topazlabs.com

  16. Nofoaga Fesoasoani a Adobe - Adobe Enhance > Super Resolution - helpx.adobe.com

  17. NIST / OSAC - Taiala Masani mo le Pulega o Ata Faatekinolosi Fa'atekinolosi (Lomiga 1.0) - nist.gov

  18. SWGDE - Taiala mo le Su'esu'ega o Ata Fa'apitoa - swgde.org

Saili le AI Fou i le Faleoloa Aloaia o Fesoasoani AI

Faatatau ia tatou

Toe foʻi i le blog