mireabulletinRussian Technological JournalRussian Technological Journal2782-32102500-316XRTU MIREA10.32362/2500-316X-2019-7-6-56-67mireabulletin-181Research ArticleИНФОРМАЦИОННЫЕ СИСТЕМЫ. ИНФОРМАТИКА. ПРОБЛЕМЫ ИНФОРМАЦИОННОЙ БЕЗОПАСНОСТИINFORMATION SYSTEMS. COMPUTER SCIENCES. ISSUES OF INFORMATION SECURITYОбработка потоков в мониторинговом облачном кластереProcessing streams in a monitoring cloud clusterНазаровА. Н.NazarovAlexey N.

Назаров Алексей Николаевич, доктор технических наук, профессор, профессор кафедры «Информационное противоборство»

119454, Россия, Москва, пр-т Вернадского, д. 78

Alexey N. Nazarov, Dr. of Sci. (Engineering), Professor, Professor of the Chair “Information warfare”

78, Vernadskogo pr., Moscow 119454, Russia

a.nazarov06@bk.ruМИРЭА – Российский технологический университетРоссияMIREA – Russian Technological UniversityRussian Federation201909012020765667Copyright © Назаров А.Н., 20202020Назаров А.Н.Nazarov A.N.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://www.rtj-mirea.ru/jour/article/view/181

Создание мониторинговых кластеров облачных вычислений является перспективным направлением создания систем непрерывного контроля объектов различного назначения в web-пространстве. Среда web-программирования Hadoop является технологической основой разработки алгоритмических и программных решений по синтезу мониторинговых кластеров, включая системы информационной безопасности и информационного противодействия. В рекомендациях Y.3510 Международного союза электросвязи (ITU) представлены требования, предъявляемые к облачной инфраструктуре, обусловливающие необходимость в мониторинге производительности развернутых приложений на основе сбора реальных статистических данных. Зачастую вычислительные ресурсы мониторинговых кластеров облачных центров обработки данных выделены для постоянной параллельной обработки высокоскоростных потоковых данных, что предъявляет новые требования к технологиям мониторинга, обусловливающие необходимость создания и исследования новых моделей параллельных вычислений. Необходимость применения мониторинга услуг играет важную роль в индустрии облачных вычислений, в особенности для оценки SLA/QoS, так как в приложении или услуге могут возникнуть проблемы, даже если виртуальные машины, на которых происходит работа, выглядят работоспособными. При этом необходимо решение задачи исследования методических возможностей по оценке необходимого вычислительного ресурса в условиях высокоскоростных потоковых сервисов с обработкой гигантских объемов битовых данных. Разработаны математические модели параллельных потоков DStream от источников, обрабатываемых в облачном кластере на технологии Hadoop c использованием «микропакетной» архитектуры модуля Spark Streaming, учитывающие, с одной стороны, поток заявок источников различных сервисов на обслуживание, а, с другой стороны, потребности сервисов в битовой скорости передачи с учетом полипачечности трафика источников различных сервисов.

The creation of monitoring clusters based on cloud computing technologies is a promising direction for the development of systems for continuous monitoring of objects for various purposes in the web space. Hadoop web-programming environment is the technological basis for the development of algorithmic and software solutions for the synthesis of monitoring clusters, including information security and information counteraction systems. The International Telecommunication Union’ (ITU) recommendations Y. 3510 present the requirements for cloud infrastructure that require monitoring the performance of deployed applications based on the collection of real-world statistics. Often, computing resources of monitoring clusters of cloud data centers are allocated for continuous parallel processing of high-speed streaming data, which imposes new requirements to monitoring technologies, necessitating the creation and research of new models of parallel computing. The need to use service monitoring plays an important role in the cloud computing industry, especially for SLA/QoS assessment, as the application or service may experience problems even if the virtual machines on which the work is taking place appear to be operational. This requires to study the methodological possibilities of organization to study of parallel processing high-speed streaming services with the processing of huge amounts of bit data, and, simultaneously, to estimate the necessary computational resource. In the conditions of high dynamics of changes in the bit rate of information generation from the source, a model of the bit rate of Discretized Stream (DStream) formation is proposed, which has a common application. Based on the poly-burst nature of the bit rate model, a model of group content traffic of any sources of different services processed in the cloud cluster was created. The obtained results made it possible to develop mathematical models of parallel DStreams from sources processed in a cloud cluster via Hadoop technology using the micro-batch architecture of the Spark Streaming module. These models take into account the flow of requests for maintenance from sources of different services, on the one hand, and, on the other hand, the needs of services in bit rate, taking into account the multichannel traffic of sources of various services. At the same time, analytical relations are obtained to calculate the required performance of the Hadoop cluster at a given value of the probability of batch loss.

мониторингHadoopSparkпакетбитовая скоростьмикропакетархитектурапараллельный потокоблачные вычисленияматематическое ожиданиедисперсиявероятностьфункция распределения вероятностейплотность распределения вероятностейслучайный процессДельта-функцияmonitoringHadoopSparkbatchbit ratemicro-batcharchitectureparallel flowcloud computingexpectationvarianceprobabilityprobability distribution functionprobability distribution densityrandom processDelta functionReferencesГудкова И.А., Масловская Н.Д. Вероятностная модель для анализа задержки доступа к инфраструктуре облачных вычислений с системой мониторинга // Т-сомм: Телекоммуникации и транспорт. 2014. Т. 8. № 6. С. 13–15.Gudkova I., Maslovskaya N. Probability model for analysing impact of delays due to monitoring on mean service time in cloud computing. T-comm. 2014;8(6):13-15 (in Russ.).Башарин Г.П., Гайдамака Ю.В., Самуйлов К.Е. Математическая теория телетрафика и ее приложения к анализу мультисервисных сетей связи следующих поколений // Автоматика и вычислительная техника. 2013. Т. 47. № 2. С. 11–21.Basharin G., Gaidamaka Y., Samoylov K. Mathematical theory of teletraffic and its application to the analysis of multiservice communication of next generation networks. Automatic Control and Computer Sciences. 2013;47(2):62-69. https://doi.org/10.3103/S0146411613020028Buyya R., Broberg J., Goscinski A. Cloud Computing. Principles and Paradigms. New Jersey: John Wiley & Sons, Inc., 2011. 637 p. https://doi.org/10.1002/9780470940105Buyya R., Broberg J., Goscinski A. Cloud Computing. Principles and Paradigms. New Jersey: John Wiley & Sons, Inc., 2011. 637 p. https://doi-org/10.1002/9780470940105Focus Group on Cloud Computing. Technical Report. Part 1: Introduction to the cloud ecosystem: definitions, taxonomies, use cases and higher-level requirements. ver. 1.0 (02/2012). International Telecommunication Union, 2012. 62 p. http://handle.itu.int/11.1002/pub/808604ae-enFocus Group on Cloud Computing. Technical Report. Part 1: Introduction to the cloud ecosystem: definitions, taxonomies, use cases and higher-level requirements. ver. 1.0 (02/2012). International Telecommunication Union, 2012. 62 p. http://handle.itu.int/11.1002/pub/808604ae-enKhaled S., Boutaba R. Estimating service response time for elastic cloud applications. Proceed. of the 1th International Conference on Cloud Networking CLOUDNET, IEEE, 2012; pp. 12-16. https://doi.org/10.1109/CloudNet.2012.6483647Khaled S., Boutaba R. Estimating service response time for elastic cloud applications. In: Proceed. of the 1th International Conference on Cloud Networking CLOUDNET, IEEE, 2012; pp. 12-16. https://doi.org/10.1109/CloudNet.2012.6483647Recommendation ITU-T. Y.3501. Cloud Computing framework and high-level requirements. Geneva: International Telecommunication Union, 2013. 27 p.Recommendation ITU-T, 2013, Cloud Computing framework and high-level requirements, Y.3501, p. 27.Recommendation ITU-T. Y.3510. Cloud Computing infrastructure requirements. Geneva: International Telecommunication Union, 2016. 28 p.Recommendation ITU-T, 2013, Cloud Computing infrastructure requirements, Y.3510, p. 22.Recommendation ITU-T. Y.3520 (09/15). Cloud Computing framework for end-to-end resource management. Geneva: International Telecommunication Union, 2015. 26 p.Recommendation ITU-T, 2015, Cloud Computing framework for end-to-end resource management, Y.3520, (09/15).Recommendation ITU-T. Y.3521/M.3070 (03/16). Overview of end-to-end cloud computing management. Geneva: International Telecommunication Union, 2016. 32 p.Recommendation ITU-T, 2016, Overview of end-to-end cloud computing management, Y.3521/M.3070 (03/16).Recommendation ITU-T. Y.3522 (09/16). End-to-end cloud service lifecycle management requirements. Geneva: International Telecommunication Union, 2016. 24 p.Recommendation ITU-T, 2016, End-to-end cloud service lifecycle management requirements, Y.3522 (09/16).Recommendation ITU-T. Y.3517 (12/18). Cloud computing – Overview of inter-cloud trust management. Geneva: International Telecommunication Union, 2018. 24 p.Recommendation ITU-T, 2018, Cloud computing – Overview of inter-cloud trust management, Y.3517 (12/18).Recommendation ITU-T. Y.3518 (12/18). Cloud computing – functional requirements of inter-cloud data management. Geneva: International Telecommunication Union, 2018. 26 p.Recommendation ITU-T, 2018, Cloud computing – functional requirements of inter-cloud data management, Y.3518 (12/18).Карау Х., Ковински Э., Венделл П., Захария М. Изучаем Spark: молниеносный анализ данных. М.: ДМК Пресс, 2015. 304 с.Karau H., Konwinski A., Wendell P., Zaharia М. Learning Spark: Lighting-fast data analysis. US: O’Reilly, 2015. 257 p.Erokhin S.D. A review of scientific research on artificial intelligence. In: Proceed. 2019 Systems of signals generating and processing in the field of on board communications. IEEE, 2019. 4 p. INSPEC Accession Number: 18638425. https://doi.org/10.1109/SOSG.2019.8706723Erokhin S.D. A review of scientific research on artificial intelligence. In: Proceed. 2019 Systems of signals generating and processing in the field of on board communications. IEEE, 2019. 4 p. INSPEC Accession Number: 18638425. https://doi.org/10.1109/SOSG.2019.8706723Chesnokov A.S., Gorodnichev M.G., Gavrish K.A., Zhidkova M.A. Intelligent vehicle condition monitoring system. In Proceed. 2019 Systems of signals generating and processing in the field of on board communications. IEEE, 2019. 4 p. INSPEC Accession Number: 18638469. https://doi.org/10.1109/SOSG.2019.8706727Chesnokov A.S., Gorodnichev M.G., Gavrish K.A., Zhidkova M.A. Intelligent vehicle condition monitoring system. In: Proceed. 2019 Systems of signals generating and processing in the field of on board communications. IEEE, 2019. 4 p. INSPEC Accession Number: 18638469. https://doi.org/10.1109/SOSG.2019.8706727Лэм Чак. Hadoop в действии. М.: ДМК Пресс, 2012. 424 с. [Lam C.P. Hadoop in Action. Publisher: Manning Publications Company, 2011. 334 p.]Lam C.P. Hadoop in Action. Publisher: Manning Publications Company, 2011. 334 p.Назаров А.Н. Назаров М.А., Пантюхин Д.В., Покрова С.В., Сычев А.К. Автоматизация процедур мониторинга в web-пространстве на основе нейро-нечеткого формализма // T-comm. 2015. Т. 9. № 8. С. 26–33.Nazarov A., Nazarov M., Pantiuhin D, Sychev A., Pokrova S. Automation of monitoring processes in webbased neuro-fuzzy formalism. T-comm. 2015;9(8):26-33 (in Russ.).Мунерман В.И. Реализация параллельной обработки данных в облачных системах // Современные информационные технологии и ИТ-образование. 2017. Т. 13. № 2. C. 57–63. https://doi.org/10.25559/SITITO.2017.2.223Munerman V.I. The implementation of parallel data processing in cloud systems. Sovremennye informacionnye tehnologii i IT-obrazovanie = Modern Information Technology and IT-education. 2017;13(2):57-63 (in Russ.). https://doi.org/10.25559/SITITO.2017.2.223Назаров А.Н. Модель параллельной обработки задач в облачном кластере Hadoop // В кн.: Сборник трудов XIII Международной отраслевой научно-технической конференции «Технологии информационного общества» (20-21 марта 2019 г. Москва, МТУСИ). В 2-х т. Том 2. М.: ООО ИД Медиа Паблишер, 2019. С. 69–71.Nazarov A.N. Model of parallel processing of tasks in the cloud cluster Hadoop. In: Proceedings of the XIII International Industry Scientific and Technical Conference “Technologies of the information society” (March 20-21, 2019, Moscow, MTUCI). In 2 v. V. 2. M.: Publishing House Media Publisher, 2019; pp. 69-71 (in Russ.).Григорьев В.Р., Назаров А.Н. Методические аспекты параллельного решения задач в облачном кластере мониторинга кибер-атак // Сборник трудов XVIII научно-практической конференции «Информационные технологии в государственном управлении. Цифровая трансформация в человеческий капитал» (25 апреля 2019г.). М.: ФГУП НИИ «Восход», 4 с.Grigoriev V.R., Nazarov A.N. Methodological aspects of parallel problem solving in the cloud cluster of cyberattacks monitoring. In: Proceedings of the XVIII Scientific and Practical Conference “Information technologies in public administration. Digital transformation into human capital” (April 25, 2019). M.: Research Institute “Voskhod”, 2019. 4 p. (in Russ.).Соколов Г.А., Гладких И.М. Математическая статистика: Учебник для вузов. М: Издательство «Экзамен», 2004. 432 с.Sokolov G.A., Gladkih I.M. Mathematical statistics. М.: Ekzamen Publ., 2004. 432 p. (in Russ.).

The authors declare that there are no conflicts of interest present.