Ukrainian Journal of Physical Optics 

Volume 22, Issue 4, 2021
Home page
 
 

Other articles 

in this issue
Low-light image restoration using discrete cosine transform and conditional generative adversarial network

Banglian Xu, Yao Fang, Zhixiang Bian, Yu Huang, Yaoyao Tan, Xue Cheng, Jiale Song and Zhang Leihong

DCollege of Communication and Art Design, University of Shanghai for Science and Technology, Shanghai 200093, China

Download this article

Abstract. In the process of low-light imaging, some part of useful information of an image is overwhelmed by a noise. When interference is large, the signal-to-noise ratio (SNR) detected in a system is reduced to a very low level. We study the low-light imaging under condition when the detection SNR is equal to 1 dB. Taking into account that the noise is often located in the high-frequency spectral part, we use discrete cosine transform (DCT) to remove the noise or, at least, filter out its some part. Then we use an algorithm of conditional generative adversarial network (CGAN) to improve the image quality. The simulation results testify that the DCT and CGAN algorithms combined together improve significantly the restoration results and the final quality of images. The latter is high enough, with the average peak SNR being higher than 22 dB and the structural similarity index measure amounting to about 0.8.

Keywords: low-light imaging, Poisson noise, discrete cosine transform, conditional adversarial generative network

UDC: 004.932
Ukr. J. Phys. Opt. 22 225-238
doi: 10.3116/16091833/22/4/225/2021
Received:20.10.2021

Анотація. Упроцесі формування зображень при слабкому освітленні деяка частина корисної інформації зображення перекривається шумом. Коли перешкоди значні, відношення сигнал/шум (ВСШ), виявлене в системі, зменшується до дуже низького рівня. Ми вивчаємо зображення при слабкому освітленні за умови, коли ВСШ детектування дорівнює 1 дБ. Беручи до уваги, що шум часто знаходиться у високочастотній частині спектра, ми використовуємо дискретне косинусне перетворення (ДКП), щоб видалити шум або, принаймні, відфільтрувати його частину. Потім використано алгоритм умовної генеративної змагальної мережі (УГЗМ) для подальшого поліпшення якості зображення. Результати моделювання засвідчують, що поєднання алгоритмів ДКП і УГЗМ значно поліпшує результати відновлення та кінцеву якість зображень. Остання стає досить високою, так що середнє пікове ВСШ перевищує 22 дБ, а показник структурної подібності становить приблизно 0,8.

Ключові слова: зображення при слабкому освітленні, шум Пуассона, дискретне косинусне перетворення, умовна генеративна змагальна мережа
REFERENCES
  1. Remez T, Litany O, Giryes R and Bronstein A M, 2018. Class-aware fully-convolutional Gaussian and Poisson denoising. IEEE Trans. Imag. Proc. 27: 5707−5722. doi:10.1109/TIP.2018.2859044
  2. Marnissi Y, Zheng Y, Chouzenoux E and Pesquet J-C, 2016. A variational Bayesian approach for image restoration: application to image deblurring with Poisson-Gaussian noise. IEEE Trans. Comp. Imag. 3: 722−737. doi:10.1109/TCI.2017.2700203
  3. Sanjay G, Pravin N and Narayan C K, 2018. Optimized Fourier bilateral filtering. IEEE Signal Proc. Lett. 25: 1. doi:10.1109/LSP.2018.2866949
  4. Zhang X, 2017. Improved interscale-based SURE-LET approach to image denoising. Proc. Comp. Sci. 107: 819−823. doi:10.1016/j.procs.2017.03.183
  5. Zachiu C, Ries M, Moonen C and Baudouin Denis de Senneville, 2017. An adaptive non-local-means filter for real-time MR-thermometry. IEEE Trans. Med. Imag. 36: 904−916. doi:10.1109/TMI.2016.2627221
  6. Dabov K, Foi A, Katkovnik V and Egiazarian K, 2007. Image denoising by sparse 3-D transform-domain collaborative filtering. IEEE Trans. Imag. Proc. 16: 2080−2095. doi:10.1109/TIP.2007.901238
  7. Chao Dong, Chen Change Loy, Kaiming He and Xiaoou Tang, 2014. Learning a deep convolutional network for image super-resolution. Springer International Publishing. Computer Vision - ECCV, pp. 184−199. doi:10.1007/978-3-319-10593-2_13
  8. Burger H C, Schuler C J and Harmeling S, 2012. Image denoising: can plain neural networks compete with BM3D? 2012 IEEE Conference on Computer Vision and Pattern Recognition, pp. 2392−2399. doi:10.1109/CVPR.2012.6247952
  9. Kai Z, Zuo W, Chen Y and Zhang L, 2016. Beyond a Gaussian denoiser: residual learning of deep CNN for image denoising. IEEE Trans. Imag. Proc. 26: 3142−3155. doi:10.1109/TIP.2017.2662206
  10. Jia X, Liu S, Feng X and Zhang L, 2019. FOCNet: a fractional optimal control network for image denoising. Proc. of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pp. 6054−6063. doi:10.1109/CVPR.2019.00621
  11. Syed Waqas Zamir, Aditya Arora, Salman Khan, Munawar Hayat, Fahad Shahbaz Khan, Ming-Hsuan Yang and Ling Shao, 2020. CycleISP: real image restoration via improved data synthesis. Proc. of the 33rd IEEE Conference on Computer Vision and Pattern Recognition (CVPR 2020), pp. 2693−2702.
  12. Mirza M and Osindero S, 2014. Conditional generative adversarial nets. Comp. Sci. 2014: 2672−2680.
  13. Zhang Leihong, Bian Zhixiang, Ye Hualong, Wang Zhaorui, Wang Kaimin and Zhang Dawei, 2021. Restoration of single pixel imaging in atmospheric turbulence by Fourier filter and CGAN. Appl. Phys. B. 127: 45. doi:10.1007/s00340-021-07596-8
  14. Isola P, Zhu J Y, Zhou T and Efros A, 2017. Image-to-image translation with conditional adversarial networks. IEEE Conference on Computer Vision & Pattern Recognition, pp.5967−5976. doi:10.1109/CVPR.2017.632
  15. Liu Yisi, Wang Xiaojun, Wang Lei and Liu Dongliang, 2019. A modified leaky ReLU scheme (MLRS) for topology optimization with multiple materials. Appl. Math. Comp. 352: 188−204. doi:10.1016/j.amc.2019.01.038
  16. Dahl G E, Sainath T N and Hinton G E, 2013. Improving deep neural networks for LVCSR using rectified linear units and dropout. 2013 IEEE International Conference on Acoustics, Speech and Signal Processing, pp. 8609−8613. doi:10.1109/ICASSP.2013.6639346
  17. Srivastava N, Hinton G, Krizhevsky A, Sutskever I and Salakhutdinov R, 2014. Dropout: a simple way to prevent neural networks from overfitting. J. Mach. Learn. Res. 15: 1929−1958.
  18. Rami Al-Rfou et al., 2016. Theano: a Python framework for fast computation of mathematical expressions, The Theano development team. arXiv:1605.02688 [cs.SC].
  19. Mian Muhammad Sadiq Fareed, Qi Chun, Gulnaz Ahmed, Adil Murtaza, Muhammad Rizwan Asif and Muhammad Zeeshan Fareed, 2019. Salient region detection through salient and non-salient dictionaries. PLoS ONE. 14: e0213433. doi:10.1371/journal.pone.0213433
(c) Ukrainian Journal of Physical Optics