I roto i te tuhinga hou Point-E: He punaha mo te whakaputa i nga kapua tohu 3D mai i nga tohu uaua, ka whakauruhia e te roopu rangahau OpenAI Point E, he punaha whakahiato herenga kupu kapua 3D e whakamahi ana i nga tauira whakamaarama ki te hanga i nga ahua 3D rerekee me te uaua e peia ana e te tuhinga matatini. tohu.i roto i nga meneti i runga i te GPU kotahi.
Ko te mahi whakamiharo o nga tauira whakangao ahua hou o enei ra kua whakaihiihi i te rangahau mo te hanga taonga tuhinga 3D.Heoi, kaore i rite ki nga tauira 2D, ka taea te whakaputa hua i roto i nga meneti, i nga hēkona ranei, ko nga tauira whakahiato ahanoa he maha nga haora o te mahi GPU ki te whakaputa tauira kotahi.
I roto i te tuhinga hou Point-E: He punaha mo te whakaputa kapua tohu 3D mai i nga tohu uaua, ka whakaatuhia e te roopu rangahau OpenAI Point·E, he punaha whakahiato herenga kupu mo nga kapua tohu 3D.Ko tenei huarahi hou e whakamahi ana i te tauira whakatö ki te hanga i nga ahua 3D rereke me te uaua mai i nga tohu kuputuhi matatini i roto noa i te meneti, e rua ranei i runga i te GPU kotahi.
E arotahi ana te kapa ki te wero ki te huri i te tuhinga ki te 3D, he mea tino nui ki te manapori te hanga ihirangi 3D mo nga tono o te ao tuuturu mai i te mooni mariko me te petipeti ki te hoahoa ahumahi.Ko nga tikanga o naianei mo te huri i te tuhinga ki te Ahu-3 ka taka ki nga waahanga e rua, kei ia waahanga ona ngoikoretanga: 1) ka taea te whakamahi i nga tauira whakaputa ki te whakaputa tauira pai, engari kaore e taea te awhatatia pai mo nga tohu tuhinga kanorau me te uaua;2) he tauira whakaahua-tuhi kua oti te whakangungu-a-mua ki te hapai i nga tohu kuputuhi uaua me te rerekee, engari he tino kaha tenei huarahi ki te rorohiko, ka ngawari te mau o te tauira ki roto i te iti o te rohe kaore i te rite ki nga mea 3D whai kiko.
Na reira, i tirotirohia e te roopu tetahi huarahi rereke e whai ana ki te whakakotahi i nga kaha o nga huarahi e rua o runga ake nei, ma te whakamahi i te tauira whakamaarama tuhinga-ki-ahua kua whakangungua i runga i te huinga takirua o nga kupu-ahua-ahua (e ahei ana ki te hapai i nga tohu kanorau me te uaua) me he tauira whakamaarama whakaahua Ahu-3 i whakangungua ki runga i te huinga takirua whakaahua-kuputuhi.whakaahua-3D huingararaunga takirua.Ko te tauira kuputuhi-ki-ahua ka whakatauira tuatahi i te ahua whakauru ki te hanga i tetahi tohu waihanga kotahi, ka hangaia e te tauira whakaahua-ki-3D he kapua tohu 3D i runga i te ahua kua tohua.
Ko te papahanga whakahiato o te whakahau e ahu mai ana i runga i nga anga whakangao i whakaarohia ina tata nei mo te hanga ahua ahua mai i te tuhinga (Sohl-Dickstein et al., 2015; Song & Ermon, 2020b; Ho et al., 2020).Ka whakamahia e ratou he tauira GLIDE me te 3 piriona tawhā GLIDE (Nichol et al., 2021), he pai ki te whakatika i nga tauira 3D kua tukuna, hei tauira whakarereke tuhinga-ki-ahua, me tetahi huinga tauira whakamaarama e whakaputa ana i nga kapua tohu RGB hei tauira mo ratou. tauira hurihanga.whakaahua ki te ahua.Tauira 3D.
Ahakoa i whakamahia e nga mahi o mua nga hoahoanga 3D ki te tukatuka i nga kapua tohu, ka whakamahia e nga kairangahau he tauira-whakawhitinga ngawari (Vaswani et al., 2017) hei whakapai ake i te pai.I roto i ta raatau hoahoanga tauira whakamaarama, ka whangaia nga whakaahua kapua tohu ki roto i te tauira ViT-L/14 CLIP kua whakangungua, katahi ka whangaia nga mata whakaputa ki te kaitahuri hei tohu.
I roto i ta raatau rangahau rangahau, i whakatauritehia e te roopu te tikanga Point·E ki etahi atu tauira 3D whakahiato i runga i nga tohu tohu mai i te kitenga ahanoa COCO, te wehewehenga, me nga huinga huinga waitohu.Ko nga hua e whakapumau ana ka taea e Point·E te whakaputa i nga ahua 3D kanorau me te matatini mai i nga tohu kuputuhi matatini me te tere ake i te wa whakatau ma te kotahi ki te rua ota rahinga.Ko te tumanako o te roopu ka whakahihiko a raatau mahi i etahi atu rangahau mo te whakahiato kupu 3D.
Kei te waatea te tauira whakatōpū kapua kua oti te whakangungu me te waehere arotake i runga i te GitHub o te kaupapa.Ira Tuhinga-E: Kei runga arXiv he punaha mo te hanga kapua tohu 3D mai i nga tohu uaua.
Kei te mohio matou kaore koe e hiahia ki te ngaro i nga korero me nga kitenga putaiao.Ohauru ki ta maatau panui rongonui Synced Global AI Weekly ki te whiwhi whakahōunga AI ia wiki.
Wā tuku: Tihema-28-2022