Apa itu Denoising?  |  Blog NVIDIA

Apa itu Denoising? | Blog NVIDIA

Siapa pun yang mengambil foto dengan kamera digital mungkin akrab dengan gambar “berisik”: bintik-bintik berubah warna yang membuat foto kehilangan kejernihan dan ketajaman.

Banyak fotografer memiliki tips dan trik untuk mengurangi noise pada gambar, termasuk memperbaiki pengaturan pada lensa kamera atau mengambil foto dalam pencahayaan yang berbeda. Tapi bukan hanya foto yang bisa terlihat berubah warna — noise juga umum terjadi pada grafik komputer.

Noise mengacu pada variasi acak dari kecerahan dan warna yang bukan merupakan bagian dari gambar asli. Menghilangkan noise dari citra — yang menjadi lebih umum di bidang pemrosesan gambar dan visi komputer — dikenal sebagai denoising.

Denoising gambar menggunakan algoritme canggih untuk menghilangkan noise dari grafik dan render, membuat perbedaan besar pada kualitas gambar. Visual fotorealistik dan render yang imersif tidak dapat dilakukan tanpa teknologi denoising.

Apa itu Denoising?

Dalam grafik komputer, gambar dapat terdiri dari informasi dan noise yang berguna. Yang terakhir mengurangi kejelasan. Produk akhir denoising yang ideal adalah gambar yang tajam yang hanya menyimpan informasi yang berguna. Saat mendenoisasi gambar, penting juga untuk menjaga detail visual dan komponen seperti tepi, sudut, tekstur, dan struktur tajam lainnya.

Untuk mengurangi noise tanpa mempengaruhi detail visual, tiga jenis sinyal dalam gambar harus ditargetkan dengan denoising:

  • Membaur — pencahayaan yang tersebar dipantulkan ke segala arah;
  • Specular atau refleksi — pencahayaan yang dipantulkan ke arah tertentu; dan
  • Bayangan sumber cahaya tak terbatas — sinar matahari, bayangan, dan sumber cahaya tampak lainnya.

Untuk membuat gambar yang paling jelas, pengguna harus melemparkan ribuan sinar ke arah mengikuti sinyal difus dan specular. Namun, seringkali dalam penelusuran sinar waktu nyata, hanya satu sinar per piksel atau bahkan kurang yang digunakan.

Denoising diperlukan dalam penelusuran sinar waktu nyata karena jumlah sinar yang relatif rendah untuk mempertahankan kinerja interaktif.

Apa itu Denoising?  |  Blog NVIDIA
Gambar berisik dengan satu sinar per piksel.

Bagaimana Denoising Bekerja?

Denoising gambar umumnya didasarkan pada tiga teknik: pemfilteran spasial, akumulasi temporal, dan pembelajaran mesin dan rekonstruksi pembelajaran mendalam.

Contoh gambar akhir denoised spasial dan temporal.

Pemfilteran spasial selektif mengubah bagian dari gambar dengan menggunakan kembali piksel tetangga yang sama. Keuntungan dari spatial filtering adalah tidak menghasilkan temporal lag, yaitu ketidakmampuan untuk segera merespon perubahan kondisi aliran. Namun, pemfilteran spasial menimbulkan kekaburan dan kekeruhan, serta ketidakstabilan temporal, yang mengacu pada kedipan dan ketidaksempurnaan visual pada gambar.

Akumulasi sementara menggunakan kembali data dari bingkai sebelumnya untuk menentukan apakah ada artefak — atau anomali visual — dalam bingkai saat ini yang dapat diperbaiki. Meskipun akumulasi temporal menyebabkan jeda temporal, itu tidak menghasilkan kekaburan. Sebagai gantinya, ia menambahkan stabilitas temporal untuk mengurangi kedipan dan artefak pada beberapa bingkai.

Contoh akumulasi temporal pada 20 frame.

Pembelajaran mesin dan rekonstruksi pembelajaran mendalam menggunakan jaringan saraf untuk merekonstruksi sinyal. Jaringan saraf dilatih menggunakan berbagai sinyal noise dan referensi. Meskipun sinyal yang direkonstruksi untuk satu frame dapat terlihat lengkap, sinyal tersebut dapat menjadi tidak stabil secara temporal dari waktu ke waktu, sehingga diperlukan bentuk stabilisasi temporal.

Denoising dalam Gambar

Denoising memberi pengguna umpan balik visual langsung, sehingga mereka dapat melihat dan berinteraksi dengan grafik dan desain. Hal ini memungkinkan mereka untuk bereksperimen dengan variabel seperti cahaya, bahan, sudut pandang dan bayangan.

Solusi seperti NVIDIA Real-Time Denoisers (NRD) membuat teknik denoising lebih mudah diakses oleh pengembang untuk diintegrasikan ke dalam pipeline. NRD adalah perpustakaan denoising spatio-temporal yang agnostik untuk antarmuka pemrograman aplikasi dan dirancang untuk bekerja dengan sinar rendah per piksel.

NRD menggunakan sinyal input dan kondisi lingkungan untuk memberikan hasil yang sebanding dengan gambar yang sebenarnya. Lihat NRD beraksi di bawah ini:

Dengan NRD, pengembang dapat mencapai hasil waktu nyata menggunakan anggaran terbatas sinar per piksel. Dalam video di atas, pemirsa dapat melihat pekerjaan berat yang dilakukan NRD secara real time untuk mengatasi noise gambar.

Game populer seperti Cahaya Mati 2 dan Hitman III gunakan NRD untuk denoising.

NRD disorot di Techland’s Dying Light 2 Tetap Manusia.

NRD mendukung denoising sinyal difus, specular atau refleksi, dan bayangan. Denoiser yang termasuk dalam NRD adalah:

  • REBLUR — berdasarkan gagasan menstabilkan diri, pengaburan berulang. Ini dirancang untuk bekerja dengan sinyal difus dan specular yang dihasilkan dengan anggaran sinar rendah.
  • SIGMA – penghilang bayangan cepat. Ini mendukung bayangan dari semua jenis sumber cahaya, seperti matahari dan lampu lokal.
  • Santai — mempertahankan detail pencahayaan yang dihasilkan oleh NVIDIA RTX Direct Illumination, kerangka kerja yang memungkinkan pengembang merender pemandangan dengan jutaan lampu area dinamis secara real time. ReLAX juga menghasilkan stabilitas temporal yang lebih baik dan tetap responsif terhadap perubahan kondisi pencahayaan.

Lihat bagaimana NRD membantu membuat grafik yang kaya dan detail di Pembunuh 3:

Pelajari tentang lebih banyak teknologi dalam pengembangan game.

Namun para bettor tidak harus khawatir, tidak sampai 5 menit, sudah pasti keluaran ini bakal ditampikan secara live dan dapat kalian tengok pada situs togel hkg. Bagi kalian yang melewatkan live draw ini, sanggup menyaksikan pada data hk yang tetap di update setelah adanya hk keluaran hari ini .