Ann an artaigil ùr Point-E: Siostam airson sgòthan puing 3D a ghineadh bho chomharran iom-fhillte, tha sgioba rannsachaidh OpenAI a ’toirt a-steach Point E, siostam synthesis teacsa sgòthan puing 3D a bhios a’ cleachdadh mhodalan sgaoilidh gus cumaidhean 3D measgaichte agus iom-fhillte a chruthachadh air an stiùireadh le teacsa iom-fhillte. cuisean.ann am mionaidean air aon GPU.
Tha coileanadh iongantach mhodalan gineadh ìomhaigh ùr-nodha an latha an-diugh air rannsachadh a bhrosnachadh ann an gineadh stuthan teacsa 3D.Ach, eu-coltach ri modalan 2D, as urrainn toradh a ghineadh ann am mionaidean no eadhon diogan, mar as trice bidh modalan a tha a’ gineadh stuthan ag iarraidh grunn uairean a thìde de dh’ obair GPU gus aon shampall a ghineadh.
Ann an artaigil ùr Point-E: Siostam airson sgòthan puing 3D a ghineadh bho chomharran iom-fhillte, tha sgioba rannsachaidh OpenAI a’ taisbeanadh Point·E, siostam synthesis cumhach teacsa airson sgòthan puing 3D.Bidh an dòigh-obrach ùr seo a’ cleachdadh modal iomadachaidh gus cumaidhean 3D measgaichte agus iom-fhillte a chruthachadh bho chomharran teacsa iom-fhillte ann an dìreach mionaid no dhà air aon GPU.
Tha an sgioba ag amas air an dùbhlan a bhith ag atharrachadh teacsa gu 3D, a tha deatamach ann a bhith a’ cruthachadh susbaint 3D deamocratach airson tagraidhean san t-saoghal fhìor a’ dol bho fhìor-fhìrinn agus gèamadh gu dealbhadh gnìomhachais.Tha na dòighean a th’ ann mu thràth airson teacsa a thionndadh gu 3D a’ tuiteam ann an dà roinn, agus tha eas-bhuannachdan aig gach fear dhiubh: 1) faodar modalan ginealach a chleachdadh gus sampallan a ghineadh gu h-èifeachdach, ach chan urrainn dhaibh sgèile gu h-èifeachdach airson comharran teacsa eadar-mheasgte agus iom-fhillte;2) modal ìomhaigh teacsa ro-thrèanadh gus làimhseachadh teacsa iom-fhillte agus eadar-dhealaichte, ach tha an dòigh-obrach seo dian gu àireamhachd agus faodaidh am modail a dhol an sàs gu furasta ann am minima ionadail nach eil a’ freagairt ri nithean 3D brìoghmhor no ciallach.
Mar sin, rinn an sgioba sgrùdadh air dòigh-obrach eile a tha ag amas air neartan an dà dhòigh-obrach gu h-àrd a thoirt còmhla, a’ cleachdadh modal eadar-sgaoilidh teacsa-gu-ìomhaigh air a thrèanadh air seata mòr de chàraidean ìomhaigh teacsa (a’ leigeil leis comharran eadar-mheasgte agus iom-fhillte a làimhseachadh) agus modal sgaoilidh ìomhaigh 3D air a thrèanadh air seata nas lugha de chàraidean ìomhaigh teacsa.dealbh-dàta paidhir 3D.Bidh am modal teacsa-gu-ìomhaigh an-toiseach a’ sampall an ìomhaigh cuir a-steach gus aon riochdachadh synthetigeach a chruthachadh, agus bidh am modal ìomhaigh-gu-3D a’ cruthachadh sgòth puing 3D stèidhichte air an ìomhaigh taghte.
Tha stac ginealach na h-àithne stèidhichte air frèaman ginealach a chaidh a mholadh o chionn ghoirid airson ìomhaighean a chruthachadh le cumhachan bho theacsa (Sohl-Dickstein et al., 2015; Song & Ermon, 2020b; Ho et al., 2020).Bidh iad a’ cleachdadh modal GLIDE le paramadairean 3 billean GLIDE (Nichol et al., 2021), air an deagh ghleusadh air modalan 3D air an toirt seachad, mar am modal cruth-atharrachaidh teacsa-gu-ìomhaigh aca, agus seata de mhodalan sgaoilidh a ghineas sgòthan puing RGB mar an fheadhainn aca. modail cruth-atharrachaidh.dealbhan gu dealbh.3d models.
Fhad ‘s a bha obair roimhe a’ cleachdadh ailtireachd 3D gus sgòthan puing a phròiseasadh, chleachd an luchd-rannsachaidh modal sìmplidh stèidhichte air transducer (Vaswani et al., 2017) gus èifeachdas a leasachadh.Anns an ailtireachd modail sgaoilidh aca, bidh ìomhaighean sgòthan puing air am biathadh an toiseach ann am modal ViT-L / 14 CLIP ro-thrèanadh agus an uairsin bidh na mogalan toraidh air am biathadh a-steach don inneal-tionndaidh mar chomharran.
Anns an sgrùdadh empirigeach aca, rinn an sgioba coimeas eadar an dòigh Point · E a chaidh a mholadh le modalan 3D ginealach eile air comharran sgòraidh bho lorg nithean COCO, sgaradh, agus stòran-dàta ainm-sgrìobhte.Tha na toraidhean a’ dearbhadh gu bheil Point·E comasach air cumaidhean 3D eadar-mheasgte agus iom-fhillte a ghineadh bho chomharran teacsa iom-fhillte agus ùine co-dhùnaidh a luathachadh le òrdugh meudachd aon no dhà.Tha an sgioba an dòchas gum brosnaich an obair aca tuilleadh rannsachaidh air synthesis teacsa 3D.
Tha modal iomadachaidh sgòthan puing ro-thrèanadh agus còd measaidh rim faighinn air GitHub a’ phròiseict.Puing Sgrìobhainn-E: Tha siostam airson sgòthan puing 3D a chruthachadh bho sanasan iom-fhillte air arXiv.
Tha fios againn nach eil thu airson naidheachdan no lorg saidheansail sam bith a chall.Subscribe to ar cuairt-litir seachdaineil Synced Global AI Weekly gus ùrachaidhean AI seachdaineil fhaighinn.
Ùine puist: Dùbhlachd-28-2022