Ukrainian Journal of Physical Optics


2024 Volume 25, Issue 3


ISSN 1816-2002 (Online), ISSN 1609-1833 (Print)

TURBULENCE IMAGE RECOVERY BASED ON IMPROVED GENERATIVE ADVERSARIAL NETWORKS

1*Bin Wei, 1Houbu Li, 1Nan Ding, 2Shi Zhaoyang, 2**Zhao Enguo, 3Tao Rong and 3Fang Yao

1CNPC Tubular Goods Research Institute, No.89 Jinye Second Road, Xi'an Shaanxi Province, China 710077, *e-mail: weibin06@cnpc.com.cn
2Shanghai Bojoe Sensing Technology Company Limited, Room 5, No.999 Jiangyue Road, Shanghai City, China 201114, **e-mail: 282833881@qq.com
3University of Shanghai for Science and Technology, No.516 Jungong Road, Shanghai City, China 2000093

ABSTRACT

In remote sensing systems, astronomical observations, traffic monitoring, and other medium- and long-range imaging systems, atmospheric turbulence caused by inhomogeneities in temperature, wind speed, humidity, etc., causes distortion when light waves propagate through the air. This leads to deterioration of image quality, its degradation, such as geometric deformation, blurring, etc. At the same time, a lot of useful information is lost. Therefore, it is important to effectively restore degraded images. In this paper, we propose an image recovery method based on an improved generative adversarial network (DeblurGAN-v2-CBAM), which is based on the DeblurGAN-v2 network and incorporates a convolutional attention module (CBAM) in the network to improve the network recovery image quality. Experimental results show that compared with DeblurGAN-v2 and SpA GAN models, the restoration quality of turbulence-corrupted image based on DeblurGAN-v2-CBAM network model has better performance with PSNR improvement of 0.6833 and SSIM improvement of 0.0118, effectively reducing the degree of blurring and geometric distortion of images.

Keywords: image recovery distorted by turbulence, generative adversarial networks, convolutional attention module

UDC: 004, 532.7, 535.2

    1. Shacham, O., Haik, O., & Yitzhaky, Y. (2007). Blind restoration of atmospherically degraded images by automatic best step-edge detection. Pattern Recognition Letters, 28(15), 2094-2103. doi:10.1016/j.patrec.2007.06.006
    2. Xu, L., Ren, J. S., Liu, C., & Jia, J. (2014). Deep convolutional neural network for image deconvolution. Advances in neural information processing systems, 27.
    3. Hradiš, M., Kotera, J., Zemcık, P., & Šroubek, F. (2015, September). Convolutional neural networks for direct text deblurring. In Proceedings of BMVC (Vol. 10, No. 2). doi:10.5244/C.29.6
    4. Mao, X., Shen, C., & Yang, Y. B. (2016). Image restoration using very deep convolutional encoder-decoder networks with symmetric skip connections. Advances in neural information processing systems, 29.
    5. Zhang, J., Pan, J., Lai, W. S., Lau, R. W., & Yang, M. H. (2017). Learning fully convolutional networks for iterative non-blind deconvolution. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (pp. 3817-3825). doi:10.1109/CVPR.2017.737
    6. Nah, S., Hyun Kim, T., & Mu Lee, K. (2017). Deep multi-scale convolutional neural network for dynamic scene deblurring. In Proceedings of the IEEE conference on computer vision and pattern recognition (pp. 3883-3891). doi:10.1109/CVPR.2017.35
    7. Zhang, J., Pan, J., Ren, J., Song, Y., Bao, L., Lau, R. W., & Yang, M. H. (2018). Dynamic scene deblurring using spatially variant recurrent neural networks. In Proceedings of the IEEE conference on computer vision and pattern recognition (pp. 2521-2529). doi:10.1109/CVPR.2018.00267
    8. Gao, J., Anantrasirichai, N., & Bull, D. (2019). Atmospheric turbulence removal using convolutional neural network. arXiv preprint arXiv:1912.11350.
    9. Kupyn, O., Martyniuk, T., Wu, J., & Wang, Z. (2019). Deblurgan-v2: Deblurring (orders-of-magnitude) faster and better. In Proceedings of the IEEE/CVF international conference on computer vision (pp. 8878-8887). doi:10.1109/ICCV.2019.00897
    10. Lau, C. P., Lai, Y. H., & Lui, L. M. (2019). Restoration of atmospheric turbulence-distorted images via RPCA and quasiconformal maps. Inverse Problems, 35(7), 074002. doi:10.1088/1361-6420/ab0e4b
    11. Jin, D., Chen, Y., Lu, Y., Chen, J., Wang, P., Liu, Z., Guo, S.& Bai, X. (2021). Neutralizing the impact of atmospheric turbulence on complex scene imaging via deep learning. Nature Machine Intelligence, 3(10), 876-884. doi:10.1038/s42256-021-00392-1
    12. Mao, Z., Chimitt, N., & Chan, S. H. (2021). Accelerating atmospheric turbulence simulation via learned phase-to-space transform. In Proceedings of the IEEE/CVF International Conference on Computer Vision (pp. 14759-14768). doi:10.1109/ICCV48922.2021.01449
    13. Weyand, T., Araujo, A., Cao, B., & Sim, J. (2020). Google landmarks dataset v2-a large-scale benchmark for instance-level recognition and retrieval. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition (pp. 2575-2584). doi:10.1109/CVPR42600.2020.00265
    14. Xie, Y., Zhang, W., Tao, D., Hu, W., Qu, Y., & Wang, H. (2016). Removing turbulence effect via hybrid total variation and deformation-guided kernel regression. IEEE Transactions on Image Processing, 25(10), 4943-4958. doi:10.1109/TIP.2016.2598638
    15. Chan, S. H. (2022). Tilt-then-blur or blur-then-tilt? clarifying the atmospheric turbulence model. IEEE Signal Processing Letters, 29, 1833-1837. doi:10.1109/LSP.2022.3200551
    16. Xu, B., Fang, Y., Zhang, L., Zhang, D., & Zheng, L. (2023). Turbulent-image Restoration Based on a Compound Multibranch Feature Fusion Network. Current Optics and Photonics, 7(3), 237-247.
    17. Goodfellow, I., Pouget-Abadie, J., Mirza, M., Xu, B., Warde-Farley, D., Ozair, S., Courville, A. & Bengio, Y. (2014). Generative adversarial nets. Advances in neural information processing systems, 27.
    18. Szegedy, C., Ioffe, S., Vanhoucke, V., & Alemi, A. (2017, February). Inception-v4, inception-resnet and the impact of residual connections on learning. In Proceedings of the AAAI conference on artificial intelligence (Vol. 31, No. 1). doi:10.1609/aaai.v31i1.11231
    19. Woo, S., Park, J., Lee, J. Y., & Kweon, I. S. (2018). Cbam: Convolutional block attention module. In Proceedings of the European conference on computer vision (ECCV) (pp. 3-19). doi:10.1007/978-3-030-01234-2_1
    20. Li, C., & Wand, M. (2016). Precomputed real-time texture synthesis with markovian generative adversarial networks. In Computer Vision-ECCV 2016: 14th European Conference, Amsterdam, The Netherlands, October 11-14, 2016, Proceedings, Part III 14 (pp. 702-716). Springer International Publishing. doi:10.1007/978-3-319-46487-9_43
    21. Johnson, J., Alahi, A., & Fei-Fei, L. (2016). Perceptual losses for real-time style transfer and super-resolution. In Computer Vision-ECCV 2016: 14th European Conference, Amsterdam, The Netherlands, October 11-14, 2016, Proceedings, Part II 14 (pp. 694-711). Springer International Publishing. doi:10.1007/978-3-319-46475-6_43
    22. He, K., Zhang, X., Ren, S., & Sun, J. (2016). Deep residual learning for image recognition. In Proceedings of the IEEE conference on computer vision and pattern recognition (pp. 770-778). doi:10.1109/CVPR.2016.90
    23. Pan, H. (2020). Cloud removal for remote sensing imagery via spatial attention generative adversarial network. arXiv preprint arXiv:2009.13015.
    24. Nah, S., Hyun Kim, T., & Mu Lee, K. (2017). Deep multi-scale convolutional neural network for dynamic scene deblurring. In Proceedings of the IEEE conference on computer vision and pattern recognition (pp. 3883-3891). doi:10.1109/CVPR.2017.35

    У системах дистанційного зондування, при астрономічних спостереженнях, при моніторингу дорожнього руху та в інших систем отримання зображень на середніх та великих відстанях атмосферна турбулентність, спричинена неоднорідністю температури, швидкістю вітру, вологістю тощо, спричиняє спотворення, у випадку коли світлові хвилі поширюються в повітрі. Це призводить до погіршення якості зображення, його деградації, такій як геометрична деформація, розмиття тощо. При цьому втрачається багато корисної інформації. Тому важливо ефективно відновлювати погіршені зображення. У цій статті ми пропонуємо метод відновлення зображення на основі вдосконаленої генеративної змагальної мережі (DeblurGAN-v2-CBAM), яка базується на мережі DeblurGAN-v2 і включає в мережу згорткового блоку модуля уваги (CBAM) для покращення мережі і відновлення якості зображення. Експериментальні результати показують, що порівняно з моделями DeblurGAN-v2 і SpA GAN якість відновлення зображення пошкодженого внаслідок турбулентності на основі моделі мережі DeblurGAN-v2-CBAM має кращу продуктивність із покращенням PSNR на 0,6833 і покращенням SSIM на 0,0118, що ефективно знижує ступінь розмитість і геометричне спотворення зображень.

    Ключові слова: відновлення зображення пошкодженого турбулентністю, генеративні змагальні мережі, згортковий блоку модуля уваги

Free download this article 

© Ukrainian Journal of Physical Optics ©