Ukrainian Journal of Physical Optics


2022 Volume 23, Issue 4


ISSN 1816-2002 (Online), ISSN 1609-1833 (Print)

Infrared and visible image fusion using intensity transfer and phase congruency in nonsubsampled shearlet transform domain

Xin Feng, Haibo Gao, Cheng Zhang and Juanjuan Luo

Hunan International Economics University, Changsha 410205, Hunan, China

ABSTRACT

It is known in the field of infrared-and-visible image fusion that infrared targets can be not too prominent while scene-texture details can be insufficient. To solve this problem, we suggest using intensity transfer and phase congruency in the domain of nonsubsampled shearlet transform (NSST). The method first decomposes source images with the NSST to obtain low- and high-frequency subbands. Then the low-frequency subbands are fused using a fusion rule based on the intensity transfer. This enables controlling a transfer of information associated with high-intensity values, i.e. information about important targets and detailed texture. Meanwhile, the phase congruency can be extracted from the source images as an absolute measure of feature significance. This is combined with analysis of directional-vector variance of the high-frequency subband NSST coefficients. In this way the influence of noise in the infrared and low-illumination visible images on the fusion is either eliminated or notably reduced. Then the high-frequency coefficients are found. Finally, a fused image is reconstructed using inverse NSST. The experimental results reported in this work demonstrate that our method can improve efficiently the performance of fusion, since it simultaneously retains the contours and edges of infrared targets and the scene-texture details. This method reveals obvious advantages over its counterparts in terms of both subjective evaluation and quantitative metrics.

Keywords: image fusion, intensity transfer, phase congruency, nonsubsampled shearlet transform

UDC: 004.93

    1. Ma J, Ma Y and Li C, 2019. Infrared and visible image fusion methods and applications: A survey. Inform. Fusion. 45: 153-178. doi:10.1016/j.inffus.2018.02.004
    2. Jin X, Jiang Q, Yao S, Zhou D, Nie R, Hai J and He K, 2017. A survey of infrared and visual image fusion methods. Infrared Phys. Techn. 85: 478-501. doi:10.1016/j.infrared.2017.07.010
    3. Zhang Z and Blum R S, 1999. A categorization of multiscale-decomposition-based image fusion schemes with a performance study for a digital camera application. Proc. IEEE. 87: 1315-1326. doi:10.1109/5.775414
    4. Starck J L, Candès E J and Donoho D L, 2002. The curvelet transform for image denoising. IEEE Transact. Image Processing. 11: 670-684. doi:10.1109/TIP.2002.1014998
    5. Peng H, Li B, Yang Q and Wang J, 2021. Multi-focus image fusion approach based on CNP systems in NSCT domain. Comp.Vis.Image Underst., 210: 103228. doi:10.1016/j.cviu.2021.103228
    6. Easley G, Labate D and Lim W Q, 2008. Sparse directional image representations using the discrete shearlet transform. Appl. Comp. Harm. Analysis. 25: 25-46. doi:10.1016/j.acha.2007.09.003
    7. Wang L, Dou J, Qin P, Lin S, Gao Y, Wang R and Zhang J, 2021. Multimodal medical image fusion based on nonsubsampled shearlet transform and convolutional sparse representation. Multim. Tools and Appl. 80: 36401-36421. doi:10.1007/s11042-021-11379-w
    8. Chu T, Tan Y, Liu Q and Bai B, 2020. Novel fusion method for SAR and optical images based on non-subsampled shearlet transform. Intern. J. Rem. Sens. 41: 4590-4604. doi:10.1080/01431161.2020.1723175
    9. Li Z and Yan H, 2019. Infrared and visible image fusion via intensity transfer and direct matrix mapping. Infrared Phys. Techn. 102: 103030. doi:10.1016/j.infrared.2019.103030
    10. Morrone M C and Owens R A, 1987. Feature detection from local energy. Patt. Recog. Lett. 6: 303-313. doi:10.1016/0167-8655(87)90013-4
    11. Kovesi P, 1999. Image features from phase congruency. Videre: J. Comp. Vis. Res. 1: 1-26.
    12. Zhan K, Li Q, Teng J, Wang M and Shi J, 2015. Multifocus image fusion using phase congruency. J. Electron. Imag. 24: 033014. doi:10.1117/1.JEI.24.3.033014
    13. Liu Z, Feng Y, Chen H and Jiao L, 2017. A fusion algorithm for infrared and visible based on guided filtering and phase congruency in NSST domain. Opt. Las. Engin. 97: 71-77. doi:10.1016/j.optlaseng.2017.05.007
    14. Zhang Q and Guo B, 2009. Multifocus image fusion using the nonsubsampled contourlet transform. Signal Proc. 89: 1334-1346. doi:10.1016/j.sigpro.2009.01.012
    15. Defa H, Hailiang S and Weijin J, 2018. Infrared and visible image fusion based on shiftable complex directional pyramid transform and SUSAN edge detector. Ukr. J. Phys. Opt. 19: 199-210. doi:10.3116/16091833/19/4/199/2018
    16. Ma J, Chen C, Li C and Huang J, 2016. Infrared and visible image fusion via gradient transfer and total variation minimization. Inform. Fusion. 31: 100-109. doi:10.1016/j.inffus.2016.02.001
    17. Li H and Wu X J, 2018. Infrared and visible image fusion using latent low-rank representation. Preprint arXiv:1804.08992.
    18. Zhang Y, Zhang L, Bai X and Zhang L, 2017. Infrared and visual image fusion through infrared feature extraction and visual information preservation. Infrared Phys. Techn. 83: 227-237. doi:10.1016/j.infrared.2017.05.007
    19. Ma J, Yu W, Liang P, Li C and Jiang J, 2019. FusionGAN: A generative adversarial network for infrared and visible image fusion. Inform. Fusion. 48: 11-26. doi:10.1016/j.inffus.2018.09.004
    20. Wang W W, Shui P L and Song G X. 2003. Multifocus image fusion in wavelet domain. Proc. 2003 IEEE International Conference on Machine Learning and Cybernetics. 5: 2887-2890.
    21. Wang Z, Bovik A C, Sheikh H R and Simoncelli E P, 2004. Image quality assessment: from error visibility to structural similarity. IEEE Transact. Image Proc. 13: 600-612. doi:10.1109/TIP.2003.819861
    22. Liu Z, Blasch E, Xue Z, Zhao J, Laganiere R and Wu W, 2011. Objective assessment of multiresolution image fusion algorithms for context enhancement in night vision: a comparative study. IEEE Trans. Pattern Analysis Machine Intellig. 34: 94-109. doi:10.1109/TPAMI.2011.109
    23. Haghighat M B A, Aghagolzadeh A and Seyedarabi H, 2011. A non-reference image fusion metric based on mutual information of image features. Comp. Electr. Eng. 37: 744-756. doi:10.1016/j.compeleceng.2011.07.012

    У галузі злиття інфрачервоних і видимих зображень відомо, що інфрачервоні об’єкти можуть бути не надто помітними, а деталі текстури сцени – недостатніми. Щоб вирішити цю проблему, ми пропонуємо використовувати передавання інтенсивності та конгруентність фази в області несубдискретизованого шерлетового перетворення (NSST). Метод спочатку розкладає вихідні зображення за допомогою NSST для отримання низько- та високочастотних піддіапазонів. Потім низькочастотні піддіапазони зливають за допомогою правила злиття, заснованого на передаванні інтенсивності. Це дає змогу контролювати передавання інформації, пов’язаної зі значеннями високої інтенсивності, тобто інформації про важливі об’єкти та детальну текстуру. Водночас, конгруентність фази можна одержати з вихідних зображень як абсолютну міру значущості ознаки. Це поєднують з аналізом відхилення напрямного вектора для коефіцієнтів NSST високочастотних піддіапазонів. У такий спосіб усувають або значно зменшують вплив шумів в інфрачервоних зображеннях або видимих зображеннях зі слабким освітленням на дані злиття. Потім знаходять високочастотні коефіцієнти. Нарешті, злите зображення реконструюють за допомогою оберненого NSST. Експериментальні результати, наведені в цій роботі, демонструють, що наш метод може значно поліпшити ефективність злиття завдяки одночасному збереженню контурів і країв інфрачервоних цілей і деталей текстури сцени. Цей метод засвідчує очевидні переваги над аналогами з точки зору і суб’єктивних оцінок, і кількісних показників.

    Ключові слова: злиття зображень, передача інтенсивності, конгруентність фаз, шерлет-перетворення без субдискретизації

Free download this article 

© Ukrainian Journal of Physical Optics ©