Rendering Saraf 3D Minecraft Worlds tanpa pengawasan


Mengapa Anda tidak menggunakan terjemahan im2im saja? ” Pertanyaan

Karena rendering fotorealistik kebenaran dasar untuk dunia blok yang dibuat pengguna tidak ada, kita harus melatih model dengan pengawasan tidak langsung. Beberapa pendekatan yang ada adalah kandidat yang kuat. Misalnya, seseorang dapat menggunakan metode terjemahan gambar-ke-gambar (im2im) seperti MUNIT dan SPADE, awalnya dilatih hanya pada data 2D, untuk mengonversi topeng segmentasi per bingkai yang diproyeksikan dari dunia blok, menjadi gambar yang tampak realistis. Anda juga dapat menggunakan wc-vid2vid, metode sadar 3D, untuk menghasilkan gambar yang konsisten dengan tampilan melalui lukisan 2D dan lengkungan 3D saat menggunakan permukaan voxel sebagai geometri 3D. Model ini harus dilatih untuk menerjemahkan peta segmentasi nyata menjadi gambar nyata karena persyaratan data pelatihan yang dipasangkan, dan kemudian digunakan di Minecraft ke terjemahan nyata. Sebagai alternatif lain, seseorang dapat melatih NeRF-W, yang mempelajari bidang pancaran 3D dari koleksi gambar yang konsisten non-fotometri, tetapi berpose dan 3D. Ini dapat dilatih menggunakan gambar yang diprediksi dari metode im2im (kebenaran pseudo-ground, dijelaskan di bagian selanjutnya), yaitu data yang paling mendekati persyaratan yang bisa kita dapatkan.