Сравнительный анализ алгоритмов сжатия четырехмерных световых полей

Цели. Широкое распространение систем захвата световых полей обусловлено высоким качеством воспроизводимого изображения. Этот вид захвата, хоть и качественно превосходит традиционные подходы к захвату объемных изображений, генерирует огромное количество данных, необходимых для восстановления исходного заснятого четырехмерного светового поля. Цель работы - рассмотреть традиционные и расширенные до четырехмерной размерности алгоритмы сжатия изображений, провести их сравнительный анализ и определить наиболее подходящие из них.

Методы. Использованы математические методы обработки сигналов и методы статистического анализа.

Результаты. Проведены сравнение и анализ алгоритмов применительно к сжатию четырехмерных световых полей с использованием метрики PSNR. Установлено, что на выбранный критерий оценивания влияет не только размерность алгоритма сжатия, но также и расстояние базовой линии установки захвата, так как разница между изображениями увеличивается в зависимости от расстояния между оптическими центрами каждой матрицы камеры. Так для установок, состоящих из массива камер машинного зрения, находящихся на стойках и расставленных в помещении, очевидным выбором будет применение обычных методов сжатия изображений. Также, исходя из оценки произвольностей методов сжатия видео, замечено, что алгоритм XVC остается недооцененным, хотя его результаты оказываются выше остальных. Следующим по значимости можно считать алгоритм AV1. Установлено, что новейшие алгоритмы сжатия показывают более высокую производительность по отношению к своим предшественникам. Продемонстрировано, что при небольшом расстоянии между оптическими центрами запечатленных изображений применение алгоритмов сжатия видео более предпочтительно, чем применение алгоритмов сжатия изображений, так как они показывают более высокие результаты как в трехмерном, так и в четырехмерном варианте.

Выводы. Сравнение полученных результатов показывает необходимость применения на установках с длинной базовой линией (установленных на стойках камеры) алгоритмов из семейства сжатия видеозаписей (XVC, AV1). При работе с интегрированными камерами светового поля (Lytro) и установкой захвата с короткой базовой линией рекомендуется использовать алгоритмы сжатия изображений (JPEG). В общем случае рекомендуется использовать алгоритмы сжатия видео, в частности XVC, поскольку в среднем он показывает приемлемый уровень PSNR как в случае с короткой, так и с длинной базовой линией установки.

1. Broxton M., Flynn J., Overbeck R., Erickson D., Hedman P., Matthew Duvall M., Dourgarian J., Busch J., Whalen M., Debevec P. Immersive light field video with a layered mesh representation. ACM Trans. Graph. 2020;39(4):86. https://doi.org/10.1145/3386569.3392485

2. Georgiev T., et al. Lytro camera technology: theory, algorithms, performance analysis. In: Proc. SPIE. Multimedia Content and Mobile Devices. 2013;8667:86671J. https://doi.org/10.1117/12.2013581

3. Adelson E.H., Bergen J.R. The plenoptic function and the elements of early vision. In: Landy M., Movshon J.A. (Eds.). Computational Models of Visual Processing. London: The MIT Press Cambridge; 1991. P. 3-20. https://doi.org/10.7551/mitpress/2002.003.0004

4. Alves G., Pereira F., da Silva E.A.B. Light field imaging coding: Performance assessment methodology and standards benchmarking. In: 2016 IEEE International Conference on Multimedia & Expo Workshops (ICMEW). IEEE; 2016. С. 1-6. https://doi.org/10.1109/ICMEW.2016.7574774

5. Zabrovskiy A., Feldmann C., Timmerer C. Multicodec DASH dataset. In: Proceedings of the 9th ACM Multimedia Systems Conference. 2018. P. 438-443. https://doi.org/10.1145/3204949.3208140

6. Samuelsson J. The XVC video code” a revolutionary software-defined video compression format. SMPTE Motion Imaging Journal. 2019;128(10):1-8. https://doi.org/10.5594/JMI.2019.2937737

7. Viola I., Rerabek M., Ebrahimi T. Comparison and evaluation of light field image coding approaches. IEEE Journal of Selected Topics in Signal Processing. 2017;11(7):1092-1106. https://doi.org/10.1109/JSTSP.2017.2740167

8. Dlabaja D. 4D-DCT based light field image compression. Image. 2019;28(1):128. Available from URL: http://excel.fit.vutbr.cz/submissions/2019/021/21.pdf

9. Brites C., Ascenso J., Pereira F. Lenslet light field image coding: Classifying, reviewing and evaluating. IEEE Transactions on Circuits and Systems for Video Technology. 2020;31(1):339-354. https://doi.org/10.1109/TCSVT.2020.2976784

10. Aggoun A. A 3D DCT compression algorithm for omnidirectional integral images. In: 2006 IEEE International Conference on Acoustics Speech and Signal Processing Proceedings. IEEE; 2006:2:9142643. https://doi.org/10.1109/ICASSP.2006.1660393

11. Liu D., et al. View synthesis-based light field image compression using a generative adversarial network. Inf. Sci. 2021;545:118-131. https://doi.org/10.1016/j.ins.2020.07.073

12. Pratapa S., Manocha D. RLFC: random access light field compression usingkey views and bounded integer sequence encoding. In: Proceedings of the ACM SIGGRAPH Symposium on Interactive 3D Graphics and Games. 2019. P. 1-10. https://doi.org/10.1145/3306131.3317018

13. Dib E., et al. Super-ray based low rank approximation for light field compression. In: 2019 Data Compression Conference (DCC). IEEE; 2019. P. 369-378. https://doi.org/10.1109/DCC.2019.00045

14. Joshitha R., Sharma M. A hierarchical coding scheme for glasses-free 3d displays based on scalable hybrid layered representation of real-world light fields. In: 2021 IEEE International Conference on Systems, Man, and Cybernetics (SMC). IEEE; 2021. P. 3491-3498. https://doi.org/10.1109/SMC52423.2021.9658584

15. Ravishankar J., Sharma M. A novel hierarchical light field coding scheme based on hybrid stacked multiplicative layers and Fourier disparity layers for glasses-free 3D displays. arXiv preprint arXiv:2108.12399. 2021. https://doi.org/10.48550/arXiv.2108.12399

16. Tu W., et al. Efficient content adaptive plenoptic video coding. IEEE Access. 2020;8:5797-5804. https://doi.org/10.1109/ACCESS.2020.2964056

17. Chao Y.H., et al. Pre-demosaic graph-based light field image compression. arXiv preprint arXiv:2102.07883. 2021. Available from URL: https://arxiv.org/pdf/2102.07883.pdf

18. Mathew A.G., Mathew A.A. Intra coding of plenoptic images in HEVC. In: Emerging Technologies for Sustainability. CRC Press; 2020. P. 459-465. Available from URL: https://www.taylorfrancis.com/chapters/edit/10.1201/9780429353628-58/intra-coding-plenoptic-images-hevc-ashlin-george-mathew-anu-abraham-mathew

19. Bakir N., et al. RDO-based light field image coding using convolutional neural networks and linear approximation. In: 2019 Data Compression Conference (DCC). IEEE; 2019. P. 554. https://doi.org/10.1109/DCC.2019.00066

20. Zhong T., et al. Light field image compression using depth-based CNN in intra prediction. In: 2019 IEEE International Conference on Acoustics, Speech, and Signal Processing (ICASSP). IEEE; 2019. P. 8564-8567. https://doi.org/10.1109/ICASSP.2019.8682820

21. Yuan X., Haimi-Cohen R. Image compression based on compressive sensing: End-to-end comparison with JPEG. IEEE Transactions on Multimedia. 2020;22(11): 2889-2904. https://doi.org/10.1109/TMM.2020.2967646

22. Li Y., et al. Coding of focused plenoptic contents by displacement intra prediction. IEEE Transactions on Circuits and Systems for Video Technology. 2015;26(7):1308-1319. https://doi.org/10.1109/TCSVT.2015.2450333