Ukrainian Journal of Physical Optics


2022 Volume 23, Issue 3


ISSN 1816-2002 (Online), ISSN 1609-1833 (Print)

A fast and efficient two-scale fusion of infrared and visible images using median filter and intensity transfer

Jinjuan Wang, Xiliang Zeng, Shan Duan, Qun Zhou and Hao Peng

Hunan International Economics University, Changsha 410205, Hunan, China

ABSTRACT

We suggest a fast and efficient method for fusing infrared and visible images, which is based on a median filter and an intensity transfer. The median filter is used to construct a new two-scale image decomposition and obtain base and detail layers. Then a fused base layer is obtained by utilizing an optimization fusion rule based on intensity transfer, where the fusion is transformed into matrix operations. A fused detail layer is obtained by an improved maximum-selection rule which maximizes the details-appearance information with some image-enhancement effect. Our experimental results demonstrate that the method can provide a superior competitive fusion performance in terms of both subjective evaluation and objective metrics, when compared with seven standard state-of-the-art methods. Moreover, our method is quite suitable for real-time fusion applications.

Keywords: image fusion, infrared images, median filters, intensity transfer

UDC: 004.93

    1. Li S, Kang X, Fang L, Hu J and Yin H, 2017. Pixel-level image fusion: a survey of the state of the art. Information Fusion. 33: 100-112. doi:10.1016/j.inffus.2016.05.004
    2. Ma J, Ma Y and Li C, 2019. Infrared and visible image fusion methods and applications: a survey. Information Fusion. 45: 153-178. doi:10.1016/j.inffus.2018.02.004
    3. Liu Y, Liu S and Wang Z, 2015. A general framework for image fusion based on multi-scale transform and sparse representation. Information Fusion. 24: 147-164. doi:10.1016/j.inffus.2014.09.004
    4. Ma J, Yu W, Liang P, Li C and Jiang J, 2019. FusionGAN: a generative adversarial network for infrared and visible image fusion. Information Fusion. 48: 11-26. doi:10.1016/j.inffus.2018.09.004
    5. Zhou Z, Wang B, Li S and Dong M, 2016. Perceptual fusion of infrared and visible images through a hybrid multi-scale decomposition with Gaussian and bilateral filters. Information Fusion. 30: 15-26. doi:10.1016/j.inffus.2015.11.003
    6. Jiang W, Yang X, Wu W, Liu K, Ahmad A, Sangaiah A K and Jeon G, 2018. Medical images fusion by using weighted least squares filter and sparse representation. Computers & Electr. Eng. 67: 252-266. doi:10.1016/j.compeleceng.2018.03.037
    7. Li S, Kang X and Hu J, 2013. Image fusion with guided filtering. IEEE Trans. Image Proc. 22: 2864-2875. doi:10.1109/TIP.2013.2244222
    8. Ma T, Ma J, Fang B, Hu F, Quan S and Du H, 2018. Multi-scale decomposition based fusion of infrared and visible image via total variation and saliency analysis. Infrared Phys. & Technol. 92: 154-162. doi:10.1016/j.infrared.2018.06.002
    9. Bavirisetti D P and Dhuli R, 2016. Two-scale image fusion of visible and infrared images using saliency detection. Infrared Phys. & Technol. 76: 52-64. doi:10.1016/j.infrared.2016.01.009
    10. Naidu A R, Bhavana D, Revanth P, Gopi G, Kishore M P and Venkatesh K S, 2020. Fusion of visible and infrared images via saliency detection using two-scale image decomposition. Int. J. Speech Technol. 23: 815-824.doi:10.1007/s10772-020-09755-2
    11. Kalaiselvi T, Selvi S K and Abirami B, 2020. Two scale adaptive median filter for denoising MRI images. Conference: Computational Methods, Communication Techniques and Informatics. 155-159.
    12. Li Z and Yan H, 2019. Infrared and visible image fusion via intensity transfer and direct matrix mapping. Infrared Phys. & Technol. 102: 103030. doi:10.1016/j.infrared.2019.103030
    13. Jiao L C and Tang Q X, 2013. Fusion for visual context enhancement using intensity transformation function of infrared images. Electron. Lett. 49: 751-752. doi:10.1049/el.2013.0789
    14. Zhai Y and Shah M. Visual attention detection in video sequences using spatiotemporal cues. In: Proc. 14th ACM International Conference on Multimedia, October 2006, pp. 815-824. doi:10.1145/1180639.1180824
    15. Huang T, Yang G and Tang G, 1979. A fast two-dimensional median filtering algorithm. IEEE Trans. Acoustics, Speech, and Signal Proc. 27: 13-18. doi:10.1109/TASSP.1979.1163188
    16. https://figshare.com/articles/TNO_Image_Fusion_Dataset/1008029
    17. Lewis J J, O'Callaghan R J, Nikolov S G, Bull D R and Canagarajah N, 2007. Pixel-and region-based image fusion with complex wavelets. Information Fusion. 8: 119-130. doi:10.1016/j.inffus.2005.09.006
    18. Nencini F, Garzelli A, Baronti S and Alparone L, 2007. Remote sensing image fusion using the curvelet transform. Information Fusion. 8: 143-156. doi:10.1016/j.inffus.2006.02.001
    19. Naidu V P S, 2011. Image fusion technique using multi-resolution singular value decomposition. Defence Sci. J. 61: 479. doi:10.14429/dsj.61.705
    20. Ma J, Chen C, Li C and Huang J, 2016. Infrared and visible image fusion via gradient transfer and total variation minimization. Information Fusion. 31: 100-109. doi:10.1016/j.inffus.2016.02.001
    21. https://github.com/jiayi-ma
    22. Eskicioglu A M and Fisher P S, 1995. Image quality measures and their performance. IEEE Trans. Commun. 43: 2959-2965. doi:10.1109/26.477498
    23. Xu W, Li M and Wang X, 2017. Information fusion based on information entropy in fuzzy multi-source incomplete information system. Int. J. Fuzzy Syst. 19: 1200-1216. doi:10.1007/s40815-016-0230-9
    24. Wang Z and Bovik A C, 2002. A universal image quality index. IEEE Signal Proc. Lett. 9: 81-84. doi:10.1109/97.995823

    Запропоновано швидкий та ефективний метод злиття інфрачервоних і видимих зображень, який базується на медіанному фільтрі та передачі інтенсивності. Медіанний фільтр використовують для побудови нової двомасштабної декомпозиції зображення та отримання базового шару та шарів деталей. Потім злитий базовий шар одержують за допомогою оптимізаційного правила злиття, заснованого на передачі інтенсивності, де злиття зводиться до матричних операцій. Об’єднаний шар деталей одержують за допомогою вдосконаленого правила максимального вибору, яке максимізує інформацію про зовнішній вигляд деталей із деяким ефектом покращення зображення. Наші експериментальні результати демонструють, що такий метод може забезпечити вищу продуктивність злиття з точки зору і суб’єктивних оцінок, і об’єктивних показників у порівнянні з сімома стандартними сучасними методами. Крім того, запропонований метод цілком підходить для злиття зображень у реальному часі.

    Ключові слова: злиття зображень, інфрачервоні зображення, медіанний фільтр, передача інтенсивності

Free download this article 

© Ukrainian Journal of Physical Optics ©