Ukrainian Journal of Physical Optics 

Volume 22, Issue 3, 2021

Home page
 
 

Other articles 

in this issue
Jones formalism for image fusion

1Khaustov D. Ye., 1Khaustov Ya. Ye., 1Ryzhov Ye., 2Lychkowskyy E., 3Vlokh R. and 1Nastishin Yu. A.

1Hetman Petro Sahaidachnyi National Army Academy, 32 Heroes of Maidan Street,   79012 Lviv, Ukraine
2Lviv Danylo Halytsky National Medical University, 69 Pekarska Street, 79010   Lviv, Ukraine
3O. G. Vlokh Institute of Physical Optics, 23 Dragomanov Street, 79005 Lviv,   Ukraine
 

Download this article

Abstract. We suggest a novel approach for the fusion of visible (u) and infrared (u) images, basing on analogy between the mathematical forms of a Jones vector of elliptically polarized light wave and a complex 2D vector  composed of the images u and u . Since there is no restriction on which of the two images should be chosen as a real (or imaginary) component, one can construct  in the two forms,   or  , where the superscript “Tr” denotes the operation of transposing, i.e.   represents a column vector. Following the analogy with the Jones vector of light wave, the vector   can be transformed as  , with being a complex  22-matrix, an analogue of the Jones matrix for optically anisotropic medium. The above analogy with the Jones formalism allows one to synthesize the fused images using three types of the fusion algorithms, ‘amplitude’, ‘azimuth’ and ‘ellipticity’ ones. Varying the components of the J matrix with time, one can synthesize the fused image in a dynamic mode, thus animating the images fused under smoothly varying parameters, which are combinations of the J matrix components.

Keywords: image fusion, Jones matrices, complex Jones vectors, visible and infrared images

UDC: 004.932
Ukr. J. Phys. Opt. 22 155-180
doi: 10.3116/16091833/22/3/165/2021
Received: 08.07.2021

Анотація. Запропоновано новий підхід до злиття видимих (u) та інфрачервоних (u) зображень, заснований на аналогії між математичними формами вектора Джонса для еліптично поляризованої світлової хвилі та комплексного двовимірного вектора  , що описує зображення u і u . Оскільки немає обмежень стосовно того, яке з двох зображень слід обрати дійсною (або уявною) складовою, можна побудувати вектор    у двох формах –  або  . Тут верхній індекс "Tr" позначає операцію транспонування, тобто  представляє собою вектор-стовпець. За аналогією з вектором Джонса світлової хвилі, вектор   можна перетворювати згідно зі співвідношенням  , де J представляє собою комплексну  22-матрицю, яка є аналогом матриці Джонса для оптично анізотропного середовища. Вищенаведена аналогія з джонсівським формалізмом дає змогу синтезувати злиті зображення, використовуючи три типи алгоритмів синтезу – «амплітудний», «азимутальний» і «еліптичний». Змінюючи компоненти матриці J з часом, можна синтезувати злите зображення в динамічному режимі, тим самим анімуючи зображення, які злиті згідно із параметрами, що є комбінаціями компонентів матриці J і плавно змінюються в часі.

Ключові слова: злиття зображень, матриці Джонса, комплексні вектори Джонса, видимі та інфрачервоні зображення

REFERENCES
  1. Mitchell H B, Image Fusion: Theories, Techniques and Applications. Berlin, Heidelberg: Springer-Verlag (2010).
  2. Li S, Kang X and Hu J, 2013. Image fusion with guided filtering. IEEE Trans. Image Process. 22: 2864-2875. doi:10.1109/TIP.2013.2244222
  3. Yang B and Li S, 2014. Visual attention guided image fusion with sparse representation. Optik. 125: 4881-4888. doi:10.1016/j.ijleo.2014.04.036
  4. Liu Y, Liu S and Wang Z, 2015. A general framework for image fusion based on multi-scale transform and sparse representation. Inf. Fusion. 24: 147-164. doi:10.1016/j.inffus.2014.09.004
  5. Bavirisetti D P, Xiao G and Liu G. Multi-sensor image fusion based on fourth order partial differential equations. In: International Conference on Information Fusion, 2017, pp. 1-9. doi:10.23919/ICIF.2017.8009719
  6. Bavirisetti D P and Dhuli R, 2016. Two-scale image fusion of visible and infrared images using saliency detection. Infrared Phys. Technol. 76: 52-64. doi:10.1016/j.infrared.2016.01.009
  7. Xiao G, Bavirisetti D P, Liu G and Zhang X. Image fusion based on machine learning and deep learning. In: Image Fusion. Springer, Singapore, 2020, pp. 325-352. doi:10.1007/978-981-15-4867-3_7
  8. Yu Liu, Xun Chen, Zengfu Wang, Z Jane Wang, Raba K Ward and Xuesong Wang. 2018. Deep learning for pixel-level image fusion: Recent advances and future prospects. Inform. Fusion. 42: 158-173. doi:10.1016/j.inffus.2017.10.007
  9. Jingchun Piao, Yunfan Chen and Hyunchul Shin, 2019. A new deep learning based multi-spectral image fusion method. Entropy. 21: 570. doi:10.3390/e21060570
  10. Yu Zhang, Yu Liu, Peng Sun, Han Yan, Xiaolin Zhao and Li Zhang, 2020. IFCNN: A general image fusion framework based on convolutional neural network. Inform. Fusion. 54: 99-118. doi:10.1016/j.inffus.2019.07.011
  11. Kong W, Zhang L and Lei Y, 2014. Novel fusion method for visible light and infrared images based on nsst-sf-pcnn. Infrared Phys. Technol. 65: 103-112. doi:10.1016/j.infrared.2014.04.003
  12. Sreeja G and Saraniya O, 2019. Chapter 3. Image fusion through deep convolutional neural network in deep learning and parallel computing environment for bioengineering systems. pp. 37-52. doi:10.1016/B978-0-12-816718-2.00010-5
  13. Khaustov Ya Ye, Khaustov D Ye, Ryzhov Ye, Lychkovskyy E and Nastishin Yu A, 2020. Fusion of visible and infrared images via complex function. Military Techn. Collection. 22: 20-31. doi:10.33577/2312-4458.22.2020.20-31
  14. Khaustov Ya Ye, Khaustov D Ye, Hryvachevskyi A P, Ryzhov Ye, Lychkovskyy E, Prudyus I N and Nastishin Yu A, 2021. Complex function as a template for image fusion. Results in Opt. 2: 100038. doi:10.1016/j.rio.2020.100038
  15. Azzam R M A and Bashara N M. Ellipsometry and Polarized Light. New York: North-Holland Amsterdam (1977).
  16. Nastyshyn S Yu, Bolesta I M, Tsybulia S A, Lychkovskyy E, Yakovlev M Yu, Ryzhov Ye, Vankevych P I and Nastishin Yu A, 2018. Differential and integral Jones matrices for a cholesteric. Phys. Rev. A. 97: 053804. doi:10.1103/PhysRevA.97.053804
  17. Nastyshyn S Yu, Bolesta I M, Tsybulia S A, Lychkovskyy E, Fedorovych Z Ya, Khaustov D Ye, Ryzhov Ye, Vankevych P I and Nastishin Yu A, 2019. Optical spatial dispersion in terms of Jones calculus. Phys. Rev. A. 100: 013806. doi:10.1103/PhysRevA.100.013806
  18. Konstantinova A F, Grechushnikov B N, Bokut B V and Valyashko Ye G. Optical Properties of Crystals. Minsk: Navuka i Teknnika (1995).
  19. Khaustov Ya Ye, Khaustov D Ye, Lychkovskyy Е, Ryzhov Ye and Nastishin Yu A, 2019. Image fusion for a target sightseeing system of armored vehicles. Military Techn. Collection. 21: 28-37. doi:10.33577/2312-4458.21.2019.28-37
  20. Kurik M V and Lavrentovich O D, 1982. Negative-positive monopole transitions in cholesteric liquid crystals. JETP Lett. 35: 444-447.
  21. Dirac P, 1931. Quantised singularities in the electromagnetic field. Proc. Roy. Soc. A. 133: 60-72. doi:10.1098/rspa.1931.0130
  22. Maxwell J C. In: The Scientific Papers of James Clerk Maxwell, Ed, by W D Niven. Cambridge: Cambridge University Press (1890).
  23. Podolefsky N S and Finkelstein N D, 2006. Use of analogy in learning physics: The role of representations. Phys. Rev. ST Phys. Educ. Res. 2: 020101. doi:10.1103/PhysRevSTPER.2.020101
  24. Feynman R P, 1957. Superfluidity and superconductivity. Rev. Mod. Phys. 29: 205-212. doi:10.1103/RevModPhys.29.205
  25. de Gennes P G, 1972. An analogy between superconductors and smectics A. Solid State Commun. 10: 753-756. doi:10.1016/0038-1098(72)90186-X
  26. Renn S R and Lubensky T C, 1988. Abrikosov dislocation lattice in a model of the cholesteric-to-smectic-A transition. Phys. Rev. A. 38: 2132-2147. doi:10.1103/PhysRevA.38.2132
  27. Goodby J W, Waugh M A, Stein S M, Chin E, Pindak R and Patel J S, 1989. Characterization of a new helical smectic liquid crystal. Nature. 337: 449-452. doi:10.1038/337449a0
  28. Lavrentovich O D, Nastishin Yu A, Kulishov V I, Narkevich Yu S, Tolochko A S and Shianovskii S V, 1990. Helical smectic A. Europhys. Lett. 13: 313-318. doi:10.1209/0295-5075/13/4/005
  29. Nguyen H T, Bouchta A, Navailles L, Barois P, Isaert N, Tweig R J, Maaroufi A and Destrade C, 1992. J. Phys. (Paris) II. 2: 1889-1906. doi:10.1051/jp2:1992242
  30. Pansu B, Nastishin Y, Imperor-Clerc M, Veber M and Nguyen H T, 2004. New investigations on the tetragonal liquid crystalline phase or SmQ. Eur. Phys. J. E. 15: 225-230. doi:10.1140/epje/i2004-10051-y
(c) Ukrainian Journal of Physical Optics