Ukrainian Journal of Physical Optics 

Volume 22, Issue 3, 2021
Home page
 
 

Other articles 

in this issue
Infrared and visible image fusion based on empirical curvelet transform and phase congruency

1Defa Hu, 2Hailiang Shi

1School of Computer Science and Information Engineering, Hunan University of Technology and Business, Changsha 410205, Hunan, China
2College of Mathematics and Information Science, Zhengzhou University of Light Industry, Zhengzhou 450000, Henan, China
 

Download this article

Abstract. We suggest a novel infrared-and-visible image fusion method based on empirical curvelet transform (ECT) and phase congruency (PC). Since the wavelet bases of ECT are not fixed, the ECT is in fact an adaptive multiscale representation method, whereas the PC can measure significance of feature pixels. Then a combination of the ECT and the PC can efficiently extract and retain the features of source images. Our fusion method includes the three following steps: (i) decomposing a source images into ECT coefficients, (ii) fusing low-frequency subbands using the weighted averaging procedure based on log-Gabor energy taken from the PC theory, and fusing high-frequency coefficients using the maximum selection rule based on the PC, and (iii) composing the coefficients of all subbands to form a fused image with the inverse ECT. The experimental results derived on three image pairs demonstrate that our method provides a satisfying visual effect of fusion. Moreover, it outperforms a number of traditional methods in terms of different quantitative metrics.

Keywords: image fusion, infrared images, empirical curvelet transform, phase congruency

UDC: 004.932
Ukr. J. Phys. Opt. 22 128-137
doi: 10.3116/16091833/22/3/128/2021
Received: 20.03.2021

Анотація. Запропоновано новий метод злиття інфрачервоних і видимих зображень, заснований на емпіричному кервлет-перетворенні (ЕКП) і фазовій конгруентності (ФК). Оскільки бази вейвлетів ЕКП не є фіксованими, то ЕКП фактично є адаптивним методом багатомасштабного представлення, тоді як ФК може вимірювати значущість піксельних ознак. Тоді поєднання ЕКТ і ПК дасть змогу ефективно видобувати та зберігати особливості вихідних зображень. Наш метод злиття включає такі три етапи: (1) розкладання вихідних зображень на коефіцієнти ЕКП; (2) злиття низькочастотних піддіапазонів за допомогою зваженої процедури усереднення на основі лог-габорівської енергії, взятої з теорії ФК, і злиття високочастотних коефіцієнтів із використанням правила максимального вибору, заснованого на ПК; (3) складання коефіцієнтів усіх піддіапазонів для формування злитого зображення за допомогою зворотного EКП. Експериментальні результати, одержані на трьох парах зображень, демонструють, що наш метод забезпечує задовільний візуальний ефект злиття. Більше того, він перевершує результати низки традиційних методів з точки зору різних кількісних показників.

Ключові слова: злиття зображень, інфрачервоні зображення, емпіричне перетворення кривої, фазова конгруентність
REFERENCES
  1. Jiayi Ma, Chen Chen, ChangLi, Jun Huang, 2016. Infrared and visible image fusion via gradient transfer and total variation minimization. Inform. Fus. 31: 100−109. doi:10.1016/j.inffus.2016.02.001
  2. Yang B and Li S, 2012. Pixel-level image fusion with simultaneous orthogonal matching pursuit. Inform. Fus. 13: 10−19. doi:10.1016/j.inffus.2010.04.001
  3. Piella G, 2003. A general framework for multiresolution image fusion: from pixels to regions. Inform. Fus. 4: 259−280. doi:10.1016/S1566-2535(03)00046-0
  4. Gilles J, Tran G and Osher S, 2014. 2D empirical transforms. wavelets, ridgelets, and curvelets revisited. SIAM J. Imag. Sci. 7: 157−186. doi:10.1137/130923774
  5. Gilles J, 2013. Empirical wavelet transform. IEEE Trans. Sign. Process. 61: 3999−4010. doi:10.1109/TSP.2013.2265222
  6. Emmanuel J C and Donoho D L, 2000. Curvelets − a surprisingly effective nonadaptive representation for objects with edges. Astron. Astrophys. 283: 1051−1057.
  7. Morrone M C and Owens R A, 1987. Feature detection from local energy. Pattern Recogn. Lett. 6: 303−313. doi:10.1016/0167-8655(87)90013-4
  8. Kovesi P, 1999. Image features from phase congruency. J. Comp. Vis. Res. 1: 115−116.
  9. Kovesi P, 2000. Phase congruency: a low-level image invariant. Psychol. Res. 64: 136−148. doi:10.1007/s004260000024
  10. Zhan K, 2015. Multifocus image fusion using phase congruency. J. Electron. Imag. 24: 033014. doi:10.1117/1.JEI.24.3.033014
  11. http://www.metapix.de/toolbox.htm.
  12. Cvejic N, Seppanen T and Godsill S J, 2009. A nonreference image fusion metric based on the regional importance measure. IEEE J. Sel. Top. Sign. Process. 3: 212−221. doi:10.1109/JSTSP.2009.2015071
(c) Ukrainian Journal of Physical Optics