Ukrainian Journal of Physical Optics 
Home page
 
 

Other articles 

in this issue
Fusion of infrared and visible images based on nonsubsampled shearlet transform and block compressive sensing sampling

1Defa Hu and 2Hailiang Shi

1Key Laboratory of Hunan Province for Mobile Business Intelligence, Hunan University of Commerce, Changsha 410205, Hunan, China
2College of Mathematics and Information Science, Zhengzhou University of Light Industry, Zhengzhou 450002, Henan, China

Download this article

Abstract. Image fusion is aimed at combining source images of the same scene into a single fused image with more reliable and precise information, which is suitable for further image-processing tasks. Here we present a novel method for fusing infrared and visible images, which is based on nonsubsampled shearlet transform (NSST) and block compressive-sensing sampling (BCSS). Compressive-sensing approach is widely used in various fields and constitutes a basis of low-signal sampling compression method employed under conditions of sparsity of signals. We investigate the BCSS technique in image fusion and suggest a fusion method where the NSST is applied for decomposition and reconstruction, and two-measure forms of local region energy are presented for maximum-choosing fusion rules for the NSST subband coefficients. Our approach is tested on five standard datasets of infrared and visible images. The results are compared with those obtained using several common fusion methods. The experimental results illustrate validity and efficiency of our method. Both the efficiency and robustness of the fusion are analyzed using a number of image-quality measures

Keywords: image fusion, infrared images, nonsubsampled shearlet transform, compressive sensing, block sampling, local region energy

PACS: 42.30.Wb, 07.05.Pj
UDC: 004.932
Ukr. J. Phys. Opt. 18 156-167
doi: 10.3116/16091833/18/3/156/2017
Received:05.05.2017 

Анотація. Злиття зображень використовують для об’єднання вихідних зображень однієї і тієї ж сцени в єдине злите зображення з надійнішою і точнішою інформацією, яка годиться для подальших завдань обробки. Ми представляємо новий метод злиття інфрачервоних і видимих зображень, який базується на безнаповнених шеарлет-перетвореннях (БНШП) і блочній вибірці, заснованій на стиснутому зчитуванні (БВСЗ). Підхід вибірки зі стиснутим зчитуванням широко використовують у різних областях. Він представляє собою основу методу стиснення вибірки з низьким рівнем сигналу, який застосовують для рідкісних або розсіяних сигналів. Ми досліджуємо техніку БВСЗ для злиття зображень і пропонуємо метод злиття, в якому БНШП застосовують для розкладання та реконструкції зображення, а двопараметричні форми локальної енергії області представлено для правил злиття для піддіапазонних коефіцієнтів БНШП, заснованих на обранні максимуму. Наш підхід перевірено на п’ятьох стандартних наборах інфрачервоних і видимих зображень. Відповідні результати порівняно з даними, одержаними за допомогою декількох традиційних методів злиття. Результати експериментів ілюструють коректність і ефективність нашого методу. Проаналізовано ефективність та надійність злиття зображень за допомогою кількох мір якості зображень.
 
REFERENCES
  1. Li X and Qin S Y, 2011. Efficient fusion for infrared and visible images based on compressive sensing principle. IET Image Process. 5: 141–147. doi:10.1049/iet-ipr.2010.0084
  2. Hu D, Shi H and Jiang, W, 2016. Infrared and visible image fusion using multiscale top-Hat transform and modified adaptive dual-channel pcnn. Rev. Téc. Ing. Univ. Zulia. 39: 173–180.
  3. Zhang Q and Maldague X, 2016. An adaptive fusion approach for infrared and visible images based on NSCT and compressed sensing. Infrared Phys. Technol. 74: 11–20. doi:10.1016/j.infrared.2015.11.003
  4. Da Cunha A L, Zhou J and Do M N, 2006. The nonsubsampled contourlet transform: theory, design, and applications. IEEE Trans. Image Process. 15: 3089–3101. doi:10.1109/TIP.2006.877507
  5. Bhatnagar G, Wu Q M and Liu Z, 2013. Directive contrast based multimodal medical image fusion in NSCT domain. IEEE Trans. Multimedia. 15: 1014–1024. doi:10.1109/TMM.2013.2244870
  6. Jianhua Adu, Jianhong Gan, Yan Wang and Jian Huang, 2013. Image fusion based on nonsubsampled contourlet transform for infrared and visible light image. Infrared Phys. Technol. 61: 94–100. doi:10.1016/j.infrared.2013.07.010
  7. Li H, Chai Y and Li Z, 2013. Multi-focus image fusion based on nonsubsampled contourlet transform and focused regions detection. Optik. 124: 40–51. doi:10.1016/j.ijleo.2011.11.088
  8. Easley G, Labate D and Lim W Q, 2008. Sparse directional image representations using the discrete shearlet transform. Appl. Comput. Harmonic Analysis. 25: 25–46. doi:10.1016/j.acha.2007.09.003
  9. Li S, Kang X, Fang L, Hu J and Yin H, 2017. Pixel-level image fusion: A survey of the state of the art. Inform. Fusion. 33: 100–112. doi:10.1016/j.inffus.2016.05.004
  10. Xiang T, Yan L and Gao R, 2015. A fusion algorithm for infrared and visible images based on adaptive dual-channel unit-linking PCNN in NSCT domain. Infrared Phys. Technol. 69: 53–61. doi:10.1016/j.infrared.2015.01.002
  11. Kong W, Zhang L and Lei Y, 2014. Novel fusion method for visible light and infrared images based on NSST–SF–PCNN. Infrared Phys. Technol. 65: 103–112. doi:10.1016/j.infrared.2014.04.003
  12. Luo X, Zhang Z and Wu X, 2016. A novel algorithm of remote sensing image fusion based on shift-invariant Shearlet transform and regional selection. AEU Int. J. Electron. Commun. 70: 186–197. doi:10.1016/j.aeue.2015.11.004
  13. Davenport M A, Duarte M F, Eldar Y C and Kutyniok G, 2011. Introduction to compressed sensing. Preprint. 93: 1–68.
  14. Yin Hongpeng, Liu Zhaodong, Fang Bin and Li Yanxia, 2015. A novel image fusion approach based on compressive sensing. Opt. Commun. 354: 299–313. doi:10.1016/j.optcom.2015.05.020
  15. Mun S and Fowler J E, 2009. Block compressed sensing of images using directional transforms. Proc. 16th IEEE Int. Conf. Image Process: 3021–3024.
  16. Yang B and Li S, 2012. Pixel-level image fusion with simultaneous orthogonal matching pursuit. Inform. Fusion. 13: 10–19. doi:10.1016/j.inffus.2010.04.001
(c) Ukrainian Journal of Physical Optics