Ukrainian Journal of Physical Optics 
Home page
 
 

Other articles 

in this issue
Infrared and visible image fusion based on shiftable complex directional pyramid transform and SUSAN edge detector

1Defa Hu, 2Hailiang Shi, 1Weijin Jiang
1Key Laboratory of Hunan Province for Mobile Business Intelligence, Hunan  University of Commerce, Changsha 410205, Hunan, China;
2College of Mathematics and Information Science, Zhengzhou University of Light Industry, Zhengzhou 450002, Henan, China

Download this article

Abstract. We propose an algorithm for fusing infrared and visible images, which is based on a shiftable complex directional pyramid transform and a SUSAN edge detector. When fusing the low-pass sub-band coefficients, we employ a weighted-averaging rule based on local normalized energy. When fusing the directional high-pass sub-bands coefficients, the SUSAN edge detector is utilized to generate a decision map and guide the fusion process. In order to reduce the computational complexity, we calculate the SUSAN edge response only once directly for each source image. We evaluate our fusion algorithm on a standard TNO Image Fusion Dataset, using comparisons with a number of traditional fusion algorithms. The experimental results testify that our algorithm is efficient and feasible. Moreover, it is superior to the traditional algorithms from the viewpoints of subjective evaluation and objective fusion metrics.

Keywords: image fusion, infrared and visible images, shiftable complex directional pyramid transform, SUSAN edge detector 

PACS: 42.30.Va
UDC: 535.8
Ukr. J. Phys. Opt. 19: 199-210
doi: 10.3116/16091833/19/4/199/2018
Received: 08.07.2018

Анотація. Ми пропонуємо алгоритм злиття інфрачервоних і видимих зображень, який базується на зміщеному комплексному спрямованому пірамідному перетворенні та детекторі країв SUSAN. У зливанні коефіцієнтів піддіапазонів пропускання низьких частот використано правило зваженого усереднення, пов’язане з локальною нормованою енергією. У зливанні напрямних коефіцієнтів піддіапазонів пропускання високих частот використано детектор країв SUSAN для створення карти прийняття рішень і керування процесом злиття зображень. Щоб зменшити складність обчислень, ми розраховуємо крайовий відгук SUSAN лише один раз безпосередньо для кожного вхідного зображення. Ми оцінювали запропонований алгоритм злиття на стандартному наборі зображень TNO Image Fusion Dataset і порівнювали його з низкою традиційних алгоритмів злиття. Експериментальні результати засвідчили, що наш алгоритм є здійсненним і ефективним. Більше того, він перевершує традиційні алгоритми з огляду і на суб’єктивні оцінки, і на об’єктивні метрики злиття зображень.
REFERENCES
  1. Ma Y, Chen J, Chen C, Fan F and Ma J, 2016. Infrared and visible image fusion using total variation model. Neurocomputing. 202: 12–19. doi:10.1016/j.neucom.2016.03.009
  2. Bhatnagar G, Wu Q J and Liu Z, 2015. A new contrast based multimodal medical image fusion framework. Neurocomputing. 157: 143–152. doi:10.1016/j.neucom.2015.01.025
  3. Zhang Q and Guo B, 2009. Multifocus image fusion using the nonsubsampled contourlet transform. Signal Processing. 89: 1334–1346. doi:10.1016/j.sigpro.2009.01.012
  4. Li S, Kang X, Fang L, Hu J and Yin H, 2017. Pixel-level image fusion: A survey of the state of the art. Information Fusion. 33: 100–112. doi:10.1016/j.inffus.2016.05.004
  5. Nguyen T T and Oraintara S, 2008. The shiftable complex directional pyramid – Part I: Theoretical aspects. IEEE Trans. Signal Processing. 56: 4651–4660. doi:10.1109/TSP.2007.912897
  6. Zhang Q, Wang L, Li H and Ma Z, 2011. Similarity-based multimodality image fusion with shiftable complex directional pyramid. Pattern Recognition Lett. 32: 1544–1553. doi:10.1016/j.patrec.2011.06.002
  7. Smith S M and Brady J M, 1997. SUSAN – a new approach to low level image processing. Int. J. Computer Vision. 23: 45–78. https://doi.org/10.1023/A:1007963824710
  8. TNO Image Fusion Dataset, https://figshare.com/articles/TNO_Image_Fusion_Dataset/1008029.
  9. Gonzalez R C, Woods R E and Eddins S L, Digital image processing using MATLAB. Upper Saddle River, New Jersey: Pearson-Prentice-Hall (2004).
  10. Wang Z and Bovik A C, 2002. A universal image quality index. IEEE Signal Processing Lett. 9: 81–84. doi:10.1109/97.995823
  11. Wang Z, Bovik A C, Sheikh H R and Simoncelli E P, 2004. Image quality assessment: From error visibility to structural similarity. IEEE Trans. Image Processing. 13: 600–612. doi:10.1109/TIP.2003.819861
  12. Liu Z, Blasch E, Xue Z, Zhao J, Laganiere R and Wu W, 2012. Objective assessment of multiresolution image fusion algorithms for context enhancement in night vision: a comparative study. IEEE Trans. Pattern Analysis and Machine Intelligence. 34: 94–109. doi:10.1109/TPAMI.2011.109
(c) Ukrainian Journal of Physical Optics