mireabulletinRussian Technological JournalRussian Technological Journal2782-32102500-316XRTU MIREA10.32362/2500-316X-2021-9-3-15-23mireabulletin-324Research ArticleРОБОТИЗИРОВАННЫЕ КОМПЛЕКСЫ И СИСТЕМЫ. ТЕХНОЛОГИИ ДИСТАНЦИОННОГО ЗОНДИРОВАНИЯ НЕРАЗРУШАЮЩЕГО КОНТРОЛЯMULTIPLE ROBOTS (ROBOTIC CENTERS) AND SYSTEMS. REMOTE SENSING AND NON-DESTRUCTIVE TESTINGАлгоритмическое обеспечение системы внешнего наблюдения и маршрутизации автономных мобильных роботовAlgorithmic support of the system of external observation and routing of autonomous mobile robotshttps://orcid.org/0000-0002-2096-2544ЕгорцевМ. В.EgortsevM. V.

Егорцев Максим Викторович, аспирант кафедры проблем управления Института кибернетики

119454, Москва, пр-т Вернадского, д. 78

Maksim V. Egortsev, Postgraduate Student, Department of Control Problems, Institute of Cybernetics

78, Vernadskogo pr., Moscow, 119454 

maksimegortsev1@gmail.comhttps://orcid.org/0000-0002-8690-6422ДианеС.А. К.DianeS. A. K.

Диане Секу Абдель Кадер, к.т.н., доцент кафедры проблем управления Института кибернетики

ResearcherID: T-5560-2017 Scopus Author ID: 57188548666

119454, Москва, пр-т Вернадского, д. 78

Sekou Abdel Kader Diane, Cand. Sci. (Eng.), Associate Professor, Department of Control Problems, Institute of Cybernetics

ResearcherID: T-5560-2017, Scopus Author ID: 57188548666

78, Vernadskogo pr., Moscow, 119454

sekoudiane1990@gmail.comhttps://orcid.org/0000-0002-0740-4628КацН. Д.KazN. D.

Кац Николай Дмитриевич, аспирант кафедры проблем управления Института кибернетики

119454, Москва, пр-т Вернадского, д. 78

Nikolai D. Kaz, Postgraduate Student, Department of Control Problems, Institute of Cybernetics

78, Vernadskogo pr., Moscow, 119454 

nkatz777@gmail.comМИРЭА – Российский технологический университетРоссияMIREA – Russian Technological UniversityRussian Federation202126062021931523Copyright © Егорцев М.В., Диане С.К., Кац Н.Д., 20212021Егорцев М.В., Диане С.К., Кац Н.Д.Egortsev M.V., Diane S.K., Kaz N.D.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://www.rtj-mirea.ru/jour/article/view/324

В статье представлено алгоритмическое обеспечение системы внешнего наблюдения и маршрутизации автономных мобильных роботов. В ряде случаев практическое применение мобильных роботов сопряжено с решением задач навигации. В частности, положение наземных роботов может определяться за счет применения средств видеонаблюдения, закрепляемых на неподвижном основании или же на борту сопровождающих беспилотных летательных аппаратов. В предлагаемом к рассмотрению подходе по видеоизображению, получаемому с внешней видеокамеры, расположенной над рабочей зоной мобильных роботов, распознается местоположение как роботов, так и расположенных поблизости препятствий. Строится оптимальный маршрут до целевой точки выбранного робота и отслеживаются изменения его рабочей зоны. Информация о допустимых маршрутах робота передается в сторонние приложения по каналам сетевой связи. Первичная обработка изображения с камеры включает коррекцию дисторсии, оконтуривание и бинаризацию, что позволяет отделить фрагменты изображения, содержащие роботов и препятствия от фоновых поверхностей и предметов. Распознавание роботов на видеокадре основано на применении SURF детектора. Данная технология выделяет ключевые точки на видеокадре в сопоставлении их с ключевыми точками эталонных изображений роботов. Планирование траекторий реализовано с применением алгоритма Дейкстры. Дискретность траекторий, получаемых с использованием алгоритма поиска пути на графе, может быть компенсирована на борту автономных мобильных роботов за счет применения сплайн-аппроксимации. Проведенные экспериментальные исследования подтвердили работоспособность предлагаемого подхода как в задаче распознавания и локализации мобильных роботов, так и в задаче планирования безопасных траекторий.

This article presents the algorithmic support of the external monitoring and routing system of autonomous mobile robots. In some cases, the practical usage of mobile robots is related to the solution of navigation problems. In particular, the position of ground robots can be secured using unmanned aerial vehicles. In the proposed approach based on the video image obtained from an external video camera located above the working area of mobile robots, the location of both robots and nearby obstacles is recognized. The optimal route to the target point of the selected robot is built, and changes in its working area are monitored. Information about the allowed routes of the robot is transmitted to third-party applications via network communication channels. Primary image processing from the camera includes distortion correction, contouring and binarization, which allows to separate image fragments containing robots and obstacles from background surfaces and objects. Recognition of robots in a video frame is based on the use of a SURF detector. This technology extracts key points in the video frame and compares them with key points of reference images of robots. Trajectory planning is implemented using Dijkstra’s algorithm. The discreteness of the trajectories obtained using the algorithm for finding a path on the graph can be compensated for on board autonomous mobile robots by using spline approximation. Experimental studies have confirmed the efficiency of the proposed approach both in the problem of recognition and localization of mobile robots and in the problem of planning safe trajectories.

SURF detectionA-starUDP protocolавтономные мобильные роботымаршрутизациявидеонаблюдениеSURF detectionA-starUDP protocolautonomous mobile robotsroutingvideo monitoringReferencesLee D., ParangiA. CS 4758: Automated semantic mapping of environment. 2013. URL: https://www.cs.cornell.edu/courses/cs4758/2013sp/final_projects/spring_2011/Dongsu_Aperahama.pdfLee D., Parangi A. CS 4758: Automated semantic mapping of environment. 2013. Available from URL: https://www.cs.cornell.edu/courses/cs4758/2013sp/final_projects/spring_2011/Dongsu_Aperahama.pdfLe Saux B., Sanfourche M. Rapid semantic mapping: learn environment classifiers on the fly. In: Proc. 2013 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). November 3−7, 2013. Tokyo, Japan. https://doi.org/10.1109/IROS.2013.6696888Le Saux B., Sanfourche M. Rapid semantic mapping: learn environment classifiers on the fly. In: Proc. 2013 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). November 3−7, 2013. Tokyo, Japan. https://doi.org/10.1109/IROS.2013.6696888Kurose J.F., Ross K.W. Computer networking: A topdown approach. 5th ed. Boston, MA: Pearson Education; 2010. 864 р. ISBN 978-0-13-136548-3Kurose J.F., Ross K.W. Computer networking: A topdown approach. 5th ed. Boston, MA: Pearson Education; 2010. 864 р. ISBN 978-0-13-136548-3Преимущества IP-видеонаблюдения над аналоговым на примере BEWARD. URL: https://www.beward.ru/articles/statya-preimushhestva-ip-videonablyudeniyanad-analogovym-na-primere-oborudovaniya-beward/Preimushchestva IP-videonablyudeniya nad analogovym na primere BEWARD (Advantages of IP-video surveillance over analog by the example of BEWARD). Available from URL: https://www.beward.ru/articles/statya-preimushhestvaip-videonablyudeniya-nad-analogovym-na-primereoborudovaniya-beward/ (in Russ.).Иофис Е.А., Шебалин И.Ю. Фотокинотехника. М.: Советская энциклопедия; 1981. С. 80, 81.Iofis E.A., Shebalin I.Yu. Fotokinotekhnika (Photocinotechnics). Moscow: Sovetskaya entsiklopediya; 1981, p. 80, 81 (in Russ.).Helland T. A simple algorithm for correcting lens distortion. URL: http://www.tannerhelland.com/4743/simple-algorithm-correcting-lens-distortion/Helland T. A simple algorithm for correcting lens distortion. Available from URL:http://www.tannerhelland.com/4743/simple-algorithm-correcting-lens-distortion/Манюкова Н.В. Компьютерное зрение как средство извлечения информации из видеоряда. Математические структуры и моделирование. 2015;4(36):123−128.Manukova N.V. Computer vision as a means of extracting information from the video. Matematicheskie struktury i modelirovanie = Mathematical Structures and Modeling. 2015;4(36):123–128 (in Russ.).Mikolajczyk K., Schmid C. A performance evaluation of local descriptors. IEEE Transactions on Pattern Analysis and Machine Intelligence. 2005;27(10):1615−1630. https://doi.org/10.1109/TPAMI.2005.188Mikolajczyk K., Schmid C. A performance evaluation of local descriptors. IEEE Transactions on Pattern Analysis and Machine Intelligence. 2005;27(10):1615–1630. https://doi.org/10.1109/TPAMI.2005.188Абилмажинова Б.С., Андреев В.О. Детекторы углов или как происходит распознавание маркеров дополненной реальности. Инновации в науке. 2016;2(51):156−162.Abilmazhinova B.S., Andreev V.O. Corner detectors or how to implement marker detection for augmented reality. Innovatsii v nauke. 2016;2(51):156–162 (in Russ.).Ивашечкин А.П., Василенко А.Ю., Гончаров Б.Д. Методы нахождения особых точек изображения и их дескрипторов. Молодой ученый. 2016;15(119):138−140.Ivashechkin A.P., Vasilenko A.Yu., Goncharov B.D. Methods for finding special points of an image and their descriptors. Molodoi uchenyi = Young scientist. 2016;15(119):138–140 (in Russ.).Бовырин А.В., Дружков П.Н., Ерухимов В.Л., Половинкин А.Н. и др. Разработка мультимедийных приложений с использованием библиотек OpenCV и IPP. М.: ИНТУИТ; 2016. 515 с.Bovyrin A.V., Druzhkov P.N., Erukhimov V.L., Polovinkin A.N., et al. Razrabotka mul’timediinykh prilozhenii s ispol’zovaniem bibliotek OpenCV i IPP (Development of multimedia applications using the OpenCV and IPP libraries). Moscow: INTUIT; 2016. 515 p. (in Russ.).Canny J. A computational approach to edge detection. IEEE Transactions on Pattern Analysis and Machine Intelligence. 1986;PAMI-8(6):679−698. https://doi.org/10.1109/TPAMI.1986.4767851Canny J. A computational approach to edge detection. IEEE Transactions on Pattern Analysis and Machine Intelligence. 1986;PAMI-8(6):679–698. https://doi.org/10.1109/TPAMI.1986.4767851Blair B., Murphy C. Difference of gaussian scale-space pyramids for SIFT feature detection. 6.375: Complex Digital Systems Design Final Project Report, Spring 2007. URL: http://www.ballardblair.com/projects/Difference_of_Gaussian_paper.pdfBlair B., Murphy C. Difference of gaussian scale-space pyramids for SIFT feature detection. 6.375: Complex Digital Systems Design Final Project Report, Spring 2007. Available from URL: http://www.ballardblair.com/projects/Difference_of_Gaussian_paper.pdfРудаков И.В., Васютович И.М. Исследование перцептивных хеш-функций изображений. Наука и образование: научное издание МГТУ им. Н.Э. Баумана. 2015;08:269−280. http://dx.doi.org/10.7463/0815.0800596Rudakov I.V., Vasiutovich I.M. Analysis of perceptual image hash functions. Nauka i obrazovanie: nauchnoe izdanie MGTU im. N.E. Baumana = Science and Education of Bauman MSTU. 2015;08:269–280 (in Russ.). http://dx.doi.org/10.7463/0815.0800596Юферев В.С. Локальная аппроксимация кубическими сплайнами. Ж. вычисл. матем. и матем. физ. 1981;21(1):5−10.Yuferev V.S. Local approximation by cubic splines. U.S.S.R. Comput. Math. Math. Phys. 1981;21(1):2–7. https://doi.org/10.1016/0041-5553(81)90126-9 [Yuferev V.S. Lokal’naya approksimatsiya kubicheskimi splainami. Zh. vychisl. matem. i matem. fiz. = USSR. Comput. Math. Math. Phys. 1981;21(1):5−10 (in Russ.).]

The authors declare that there are no conflicts of interest present.