Алгоритмы визуального анализа внешней среды автономным мобильным роботом в задаче уборки территории

Цели. В настоящее время опасной глобальной тенденцией становятся нарастающие темпы загрязнения огромных по площади территорий различными типами бытовых отходов. В связи с этим актуальной потребностью является создание робототехнических комплексов, способных в автономном режиме осуществлять сбор такого мусора. Одной из ключевых составляющих подобных комплексов должна стать система технического зрения для детекции и взаимодействия с целевыми объектами. Цель работы – разработка алгоритмического обеспечения системы технического зрения робототехнических комплексов в задаче уборки территории.

Методы. В рамках предложенной структуры системы визуального анализа внешней среды были оптимизированы под задачу распознавания мусора алгоритмы детекции и классификации объектов различного внешнего вида с применением технологии сверточных нейронных сетей. Настройка нейросетевого детектора производилась методом градиентного спуска на открытой базе обучающих примеров TACO. Для определения геометрических параметров плоского участка местности в поле зрения робота и оценки координат объектов на местности использована матрица гомографии, формируемая с учетом информации о характеристиках и расположении видеокамеры в пространстве.

Результаты. Разработанное программно-алгоритмическое обеспечение системы технического зрения для мобильного робота, оснащаемого монокулярной видеокамерой, реализует функции нейросетевой детекции и классификации объектов в кадре, а также проекции найденных объектов на карту местности для их последующего сбора.

Выводы. Проведенные экспериментальные исследования показали, что разработанная система визуального анализа внешней среды автономного мобильного робота обладает достаточной эффективностью для решения поставленных задач, в т.ч. для обнаружения мусора в поле зрения автономного мобильного робота.

1. Черняева Т.К. Актуальные проблемы влияния отходов производства и потребления на объекты окружающей среды и состояние здоровья населения (обзор). Гигиена и санитария. 2013;3:32–35. [Chernyaeva T.K. Actual problems of the impact of production and consumption waste on environment and public health (review of literature). Gigiena i sanitariya = Hygiene and Sanitation. 2013;3:32–35 (in Russ.).]

2. Bansal S., Patel S., Shah I., Patel A., Makwana J., Thakker R. AGDC: Automatic Garbage Detection and Collection. arXiv preprint arXiv:1908.05849. 2019. https://doi.org/10.48550/arXiv.1908.05849

3. Howard A.G., Zhu M., Chen B., Kalenichenko D., Wang W., Weyand T., Andreetto M., Adam H. MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications. arXiv preprint arXiv:1704.04861. 2017. https://doi.org/10.48550/arXiv.1704.04861

4. Карпов В.Э. ПИД-управление в нестрогом изложении. М.: НИИ информационных технологий; 2012. 34 с. URL: http://radioservice.at.ua/_fr/0/Karpov_mobline1.pdf [Karpov V.E. PID-upravlenie v nestrogom izlozhenii (PID-Control in a Loose Presentation). Moscow; 2012. 34 р. (in Russ.). URL: http://radioservice.at.ua/_fr/0/Karpov_mobline1.pdf]

5. Salmador A., Cid J.P., Novelle I.R. Intelligent Garbage Classifier. Int. J. Interact. Multimedia Artif. Intell. 2008;1(1):31–36.

6. Xu Z., Ji X., Wang M., Sun X. Edge detection algorithm of medical image based on Canny operator. J. Phys.: Conf. Ser. 2021;1955(1):012080. https://doi.org/10.1088/1742-6596/1955/1/012080

7. Ming-Kuei Hu. Visual pattern recognition by moment invariants. IRE Transactions on Inform. Theory. 1962;8(2): 179–187. https://doi.org/10.1109/TIT.1962.1057692

8. El-ghazal A., Basir O., Belkasim S. A novel curvature-based shape Fourier Descriptor. 2008 15th IEEE International Conference on Image Processing (ICIP). 2008. P. 953–956. https://doi.org/10.1109/ICIP.2008.4711914

9. Pascal V., Yoshua B. K-Local Hyperplane and Convex Distance Nearest Neighbor Algorithms. In: DietterichT.G., Becker S., Ghahramani Z. (Eds.). Advances in Neural Information Processing Systems. The MIT Press; 2001. V. 14. P. 985–992.

10. Deng J., Xuan X., Wang W., Li Z., Yao H., Wang Z. A review of research on object detection based on deep learning. J. Phys.: Conf. Ser. 2020;1684(1):012028. https://doi.org/10.1088/1742-6596/1684/1/012028

11. Бредихин А.И. Алгоритмы обучения сверточных нейронных сетей. Вестник Югорского государственного университета. 2019;1(52):41–54. https://doi.org/10.17816/byusu20190141-54 [Bredikhin A.I. Training algorithms for convolutional neural networks. Vestnik Yugorskogo gosudarstvennogo universiteta = Yugra State University Bulletin. 2019;1(52):41–54 (in Russ.). https://doi.org/10.17816/byusu20190141-54 ]

12. Proença P.F., Simões P. TACO: Trash Annotations in Context for Litter Detection. arXiv preprint arXiv: 2003.06975. 2020. https://doi.org/10.48550/arXiv.2003.06975

13. Bochkovskiy A., Wang C.Y., Liao H.Y.M. YOLOv4: Optimal Speed and Accuracy of Object Detection. arXiv preprint arXiv: 2004.10934. 2020. https://doi.org/10.48550/arXiv.2004.10934

14. Liu L., Özsu M.T. (Eds.). Encyclopedia of Database Systems. New York, NY, USA: Springer; 2009. V. 6. https://doi.org/10.1007/978-0-387-39940-9

15. Yasuda T. (Ed.) Multi-Robot Systems, Trends and Development. London, United Kingdom: IntechOpen; 2011. 598 р. https://doi.org/10.5772/544