PORTALVIRAL.ID — AMD menerbitkan makalah riset yang mengubah cara pencahayaan global atau global illumination diproses di kartu grafis. Metode berbasis model difusi itu diklaim mampu menghasilkan bayangan dan pantulan cahaya secara real-time dengan kecepatan 0,29 detik per frame. Pendekatan ini menjadi sinyal awal bagaimana AMD berniat menjawab dominasi DLSS milik Nvidia di segmen neural rendering.
Tim peneliti AMD mempublikasikan makalah berjudul "Temporally stable generative illumination with a one-step diffusion model". Makalah itu memaparkan teknik menghasilkan pencahayaan yang tampak realistis pada setiap frame tanpa harus menghitung jalur cahaya secara penuh seperti pada path tracing.
Pencahayaan global adalah komponen paling mahal dalam proses rendering. Ia menentukan bagaimana cahaya memantul dari satu objek ke objek lain, dan itulah yang membuat sebuah adegan terasa nyata.
Memindahkan Beban Cahaya ke Model Difusi
Pendekatan AMD berbeda dari metode konvensional. Alih-alih menghitung pantulan cahaya lewat simulasi fisika yang berat, peneliti melatih model difusi untuk memproduksi hasil yang menyerupai pencahayaan global.
Model yang dipakai adalah Stable Diffusion 2.1 Turbo. Versi ini menghasilkan gambar hanya dalam satu langkah denoising, bukan puluhan langkah seperti model difusi umumnya. Faktor kecepatan inilah yang membuat metode tersebut layak dipertimbangkan untuk rendering real-time.
"Dalam pekerjaan kami, kami mencoba menyelesaikan pencahayaan global sebagai masalah generasi gambar," ujar SungYe Kim, salah satu penulis makalah, dalam presentasi video. "Pencahayaan global adalah yang membuat adegan hasil render terlihat nyata, dan itu juga bagian paling mahal dari rendering."
Frame dengan pencahayaan langsung dipakai sebagai petunjuk awal bagi model. Cahaya langsung berarti cahaya yang jatuh dari sumber ke objek tanpa pantulan tambahan.
Latihan di 31.000 Frame Adegan Interior
Model dilatih memakai dataset sintetis berisi 31.000 frame adegan interior yang dirender dengan Blender Cycles, renderer produksi berbasis ray tracing milik Blender. Setiap frame memuat 1 hingga 30 sumber cahaya serta objek yang bergerak.
Tujuannya agar model mengenali beragam kondisi pencahayaan. Proses pelatihan berjalan 50 putaran penuh di atas GPU AMD Instinct MI210.
Sejumlah sinyal seperti pencahayaan sparse, radiance, material, dan geometri dipakai untuk menjaga hasil generasi tetap selaras dengan bentuk objek dan arah cahaya. Frame yang masuk ke model difusi juga diproses khusus supaya perhatian model terpusat pada iluminasi, bukan detail lain.
Menjaga Konsistensi Antarframe
Masalah klasik model generatif adalah hasil yang berubah-ubah setiap kali dijalankan. Pada rendering per frame, ketidakkonsistenan itu langsung terlihat sebagai kedipan cahaya yang mengganggu.
AMD mengatasinya dengan temporal VAE atau TVAE. Komponen ini memakai motion vector untuk menyelaraskan frame saat ini dengan frame sebelumnya, lalu menyimpan riwayat keluaran agar pencahayaan tidak berkedip di antara generasi.
Hasil akhir digabungkan dengan frame asli yang hanya memiliki pencahayaan langsung. Cara ini disebut membantu meredam kesalahan yang mungkin muncul.
Masih Jauh dari Standar Gim
Kecepatan yang dilaporkan adalah 0,29 detik per frame, setara sekitar 3,45 frame per detik pada resolusi 512 x 512. Pengujian berlangsung di RTX 3090, dan prosesnya membutuhkan sekitar 8 hingga 9 GB VRAM.
Angka itu terbilang cepat dibandingkan teknik lain yang disebut dalam makalah. Namun, perlu dicatat bahwa yang dihitung hanya tahap pencahayaan global, bukan keseluruhan pipeline rendering sebuah frame.
Kim menyebut metodenya mampu memulihkan bayangan lembut dan pantulan cahaya. Ia membandingkannya dengan model RGB?X yang disebut berhalusinasi menambah konten yang tidak ada di adegan, serta DiffusionRenderer yang mendistorsi geometri.
Bagian dari Peta Jalan FSR Diamond
Riset ini masuk dalam payung teknologi FSR Diamond yang diumumkan AMD pada awal tahun. Paket itu mencakup neural rendering generasi berikutnya, peningkatan resolusi berbasis machine learning, multi-frame generation, ray regeneration, dan path tracing.
AMD juga mengumumkan kemitraan multi-tahun dengan Xbox dan Asha Sharma lewat Project Helix. Kerja sama itu menyasar performa generasi berikutnya, terobosan grafis, dan kompatibilitas dengan pustaka gim Xbox yang sudah ada.
Nvidia lebih dulu menggebrak lewat DLSS 5, meski pengumumannya menuai kritik keras dari kalangan gamer. AMD tampaknya mengamati reaksi itu sebelum membawa riset ini ke produk komersial.
Rumor soal penerapan neural lighting dari AMD sudah beredar, salah satunya dari leaker Kepler_L2 di forum Anandtech. Belum ada kepastian apakah riset ini yang dimaksud, atau ada versi yang lebih matang di baliknya.
Pertanyaan Seputar Berita Ini
Model difusi?
pa yang dipakai dalam riset AMD ini? A: Model yang dipakai adalah Stable Diffusion 2.1 Turbo, yang menghasilkan gambar hanya dalam satu langkah denoising.