Ukrainian Journal of Physical Optics


2022, Volume 23, Issue 2


ISSN 1816-2002 (Online), ISSN 1609-1833 (Print)

Fusion of infrared and visible images by a combined guided-filter and total-variation method

Hongjun Guo, Lili Chen*, Zhenggao Pan
* corresponding author

Laboratory of Intelligent Information Processing, Suzhou University, Suzhou 234000, Anhui, China luoxuemiwu@foxmail.com

ABSTRACT

We offer a method for fusion of infrared and visible images, which is based on combination of guided-filter and total-variation methods. For extracting and keeping gradient information of the two types of images to a maximal degree and preserving thermal targets, a guided filter is used at the first stage in order to construct two-scale image decomposition and apply it to the source images. This is done for acquiring the layers of base and details, where the details layers can retain the gradient information in advance. Then a total-variation model is applied. By constraining the fused base layer to have similar intensity distribution with the base layer of the infrared image and similar gradient information with the base layer of the visible image, one derives the fused image which can simultaneously preserve both the thermal-target and gradient information. Both subjective and objective evaluations of our experimental data indicate that the combined method suggested in this work has a superior performance to a number of known methods.

Keywords: image fusion, infrared images, guided filters, total variation
UDC: 004.932

    1. Li S, Kang X, Fang L, Hu J and Yin H, 2017. Pixel-level image fusion: a survey of the state of the art. Information Fusion. 33: 100-112. doi:10.1016/j.inffus.2016.05.004
    2. Jiayi Ma, Ma Yong and Chang Li. 2019. Infrared and visible image fusion methods and applications: a survey. Information Fusion. 45: 153-178. doi:10.1016/j.inffus.2018.02.004
    3. Ma J, Chen C, Li C and Huang J, 2016. Infrared and visible image fusion via gradient transfer and total variation minimization. Information Fusion. 31: 100-109. doi:10.1016/j.inffus.2016.02.001
    4. Ma Y, Chen J, Chen C, Fan F and Ma J, 2016. Infrared and visible image fusion using total variation model. Neurocomputing. 202: 12-19. doi:10.1016/j.neucom.2016.03.009
    5. Ma T, Ma J, Fang B, Hu F, Quan S and Du H, 2018. Multi-scale decomposition based fusion of infrared and visible image via total variation and saliency analysis. Infrared Phys. Technol. 92: 154-162. doi:10.1016/j.infrared.2018.06.002
    6. Kaiming He, Jian Sun and Xiaoou Tang, 2012. Guided image filtering. IEEE Transactions on Pattern Analysis and Machine Intelligence. 35: 1397-1409. doi:10.1109/TPAMI.2012.213
    7. Rodríguez P and Wohlberg B, 2009. Efficient minimization method for a generalized total variation functional. IEEE Transactions on Image Processing. 18: 322-332. doi:10.1109/TIP.2008.2008420
    8. http://www.escience.cn/people/liuyu1
    9. https://figshare.com/articles/TNO_Image_Fusion_Dataset/1008029
    10. Burt P and Adelson E, 1983. The Laplacian pyramid as a compact image code. IEEE Transactions on Communications. 31: 532-540. doi:10.1109/TCOM.1983.1095851
    11. Pajares G and De La Cruz J M, 2004. A wavelet-based image fusion tutorial. Pattern Recognition. 37: 1855-1872. doi:10.1016/j.patcog.2004.03.010
    12. Lewis J J, O'Callaghan R J, Nikolov S G, Bull D R and Canagarajah N, 2007. Pixel-and region-based image fusion with complex wavelets. Information Fusion. 8: 119-130. doi:10.1016/j.inffus.2005.09.006
    13. Nencini F, Garzelli A, Baronti S and Alparone L, 2007. Remote sensing image fusion using the curvelet transform. Information Fusion. 8: 143-156. doi:10.1016/j.inffus.2006.02.001
    14. Naidu V P S, 2011. Image fusion technique using multi-resolution singular value decomposition. Defense Sci. J. 61: 479-484. doi:10.14429/dsj.61.705
    15. Li S, Kang X and Hu J, 2013. Image fusion with guided filtering. IEEE Transactions on Image Processing. 22: 2864-2875. doi:10.1109/TIP.2013.2244222
    16. Liu Y, Liu S and Wang Z, 2015. A general framework for image fusion based on multi-scale transform and sparse representation. Information Fusion. 24: 147-164. doi:10.1016/j.inffus.2014.09.004
    17. https://github.com/jiayi-ma
    18. Wang Z, Bovik A C, Sheikh H R and Simoncelli E P, 2004. Image quality assessment: from error visibility to structural similarity. IEEE Transactions on Image Processing. 13: 600-612. doi:10.1109/TIP.2003.819861
    Запропоновано метод злиття інфрачервоних і видимих зображень, який базується на підходах керованої фільтрації та повної варіації. Для здобуття та максимального збереження градієнтної інформації двох типів зображень та збереження теплових цілей на першому етапі використовують керований фільтр, щоби побудувати двомасштабну декомпозицію зображення та застосувати її до вихідних зображень. Це роблять для одержання базового шару і шарів деталей, де шари деталей можуть заздалегідь зберігати інформацію про градієнти. Потім застосовують модель повної варіації. Обмежуючи злитий базовий шар так, щоб він мав подібний розподіл інтенсивності до базового шару інфрачервоного зображення та подібну інформацію про градієнт до базового шару видимого зображення, можна одержати злите зображення, яке одночасно зберігає інформацію і про термічні цілі, і про градієнти. І суб’єктивне, і об’єктивне оцінювання наших експериментальних даних свідчать про те, що комбінований метод, запропонований у цій роботі, виявляє вищу ефективність порівняно з низкою відомих методів.

    Ключові слова: злиття зображень, інфрачервоні зображення, керовані фільтри, повне варіювання
Free download this article

© Ukrainian Journal of Physical Optics ©