Обработка потоков в мониторинговом облачном кластере

Создание мониторинговых кластеров облачных вычислений является перспективным направлением создания систем непрерывного контроля объектов различного назначения в web-пространстве. Среда web-программирования Hadoop является технологической основой разработки алгоритмических и программных решений по синтезу мониторинговых кластеров, включая системы информационной безопасности и информационного противодействия. В рекомендациях Y.3510 Международного союза электросвязи (ITU) представлены требования, предъявляемые к облачной инфраструктуре, обусловливающие необходимость в мониторинге производительности развернутых приложений на основе сбора реальных статистических данных. Зачастую вычислительные ресурсы мониторинговых кластеров облачных центров обработки данных выделены для постоянной параллельной обработки высокоскоростных потоковых данных, что предъявляет новые требования к технологиям мониторинга, обусловливающие необходимость создания и исследования новых моделей параллельных вычислений. Необходимость применения мониторинга услуг играет важную роль в индустрии облачных вычислений, в особенности для оценки SLA/QoS, так как в приложении или услуге могут возникнуть проблемы, даже если виртуальные машины, на которых происходит работа, выглядят работоспособными. При этом необходимо решение задачи исследования методических возможностей по оценке необходимого вычислительного ресурса в условиях высокоскоростных потоковых сервисов с обработкой гигантских объемов битовых данных. Разработаны математические модели параллельных потоков DStream от источников, обрабатываемых в облачном кластере на технологии Hadoop c использованием «микропакетной» архитектуры модуля Spark Streaming, учитывающие, с одной стороны, поток заявок источников различных сервисов на обслуживание, а, с другой стороны, потребности сервисов в битовой скорости передачи с учетом полипачечности трафика источников различных сервисов.

мониторинг, Hadoop, Spark, пакет, битовая скорость, микропакет, архитектура, параллельный поток, облачные вычисленияматематическое ожидание, дисперсия, вероятность, функция распределения вероятностей, плотность распределения вероятностей, случайный процесс, Дельта-функция

1. Гудкова И.А., Масловская Н.Д. Вероятностная модель для анализа задержки доступа к инфраструктуре облачных вычислений с системой мониторинга // Т-сомм: Телекоммуникации и транспорт. 2014. Т. 8. № 6. С. 13–15.

2. Башарин Г.П., Гайдамака Ю.В., Самуйлов К.Е. Математическая теория телетрафика и ее приложения к анализу мультисервисных сетей связи следующих поколений // Автоматика и вычислительная техника. 2013. Т. 47. № 2. С. 11–21.

3. Buyya R., Broberg J., Goscinski A. Cloud Computing. Principles and Paradigms. New Jersey: John Wiley & Sons, Inc., 2011. 637 p. https://doi.org/10.1002/9780470940105

4. Focus Group on Cloud Computing. Technical Report. Part 1: Introduction to the cloud ecosystem: definitions, taxonomies, use cases and higher-level requirements. ver. 1.0 (02/2012). International Telecommunication Union, 2012. 62 p. http://handle.itu.int/11.1002/pub/808604ae-en

5. Khaled S., Boutaba R. Estimating service response time for elastic cloud applications. Proceed. of the 1th International Conference on Cloud Networking CLOUDNET, IEEE, 2012; pp. 12-16. https://doi.org/10.1109/CloudNet.2012.6483647

6. Recommendation ITU-T. Y.3501. Cloud Computing framework and high-level requirements. Geneva: International Telecommunication Union, 2013. 27 p.

7. Recommendation ITU-T. Y.3510. Cloud Computing infrastructure requirements. Geneva: International Telecommunication Union, 2016. 28 p.

8. Recommendation ITU-T. Y.3520 (09/15). Cloud Computing framework for end-to-end resource management. Geneva: International Telecommunication Union, 2015. 26 p.

9. Recommendation ITU-T. Y.3521/M.3070 (03/16). Overview of end-to-end cloud computing management. Geneva: International Telecommunication Union, 2016. 32 p.

10. Recommendation ITU-T. Y.3522 (09/16). End-to-end cloud service lifecycle management requirements. Geneva: International Telecommunication Union, 2016. 24 p.

11. Recommendation ITU-T. Y.3517 (12/18). Cloud computing – Overview of inter-cloud trust management. Geneva: International Telecommunication Union, 2018. 24 p.

12. Recommendation ITU-T. Y.3518 (12/18). Cloud computing – functional requirements of inter-cloud data management. Geneva: International Telecommunication Union, 2018. 26 p.

13. Карау Х., Ковински Э., Венделл П., Захария М. Изучаем Spark: молниеносный анализ данных. М.: ДМК Пресс, 2015. 304 с.

14. Erokhin S.D. A review of scientific research on artificial intelligence. In: Proceed. 2019 Systems of signals generating and processing in the field of on board communications. IEEE, 2019. 4 p. INSPEC Accession Number: 18638425. https://doi.org/10.1109/SOSG.2019.8706723

15. Chesnokov A.S., Gorodnichev M.G., Gavrish K.A., Zhidkova M.A. Intelligent vehicle condition monitoring system. In Proceed. 2019 Systems of signals generating and processing in the field of on board communications. IEEE, 2019. 4 p. INSPEC Accession Number: 18638469. https://doi.org/10.1109/SOSG.2019.8706727

16. Лэм Чак. Hadoop в действии. М.: ДМК Пресс, 2012. 424 с. [Lam C.P. Hadoop in Action. Publisher: Manning Publications Company, 2011. 334 p.]

17. Назаров А.Н. Назаров М.А., Пантюхин Д.В., Покрова С.В., Сычев А.К. Автоматизация процедур мониторинга в web-пространстве на основе нейро-нечеткого формализма // T-comm. 2015. Т. 9. № 8. С. 26–33.

18. Мунерман В.И. Реализация параллельной обработки данных в облачных системах // Современные информационные технологии и ИТ-образование. 2017. Т. 13. № 2. C. 57–63. https://doi.org/10.25559/SITITO.2017.2.223

19. Назаров А.Н. Модель параллельной обработки задач в облачном кластере Hadoop // В кн.: Сборник трудов XIII Международной отраслевой научно-технической конференции «Технологии информационного общества» (20-21 марта 2019 г. Москва, МТУСИ). В 2-х т. Том 2. М.: ООО ИД Медиа Паблишер, 2019. С. 69–71.

20. Григорьев В.Р., Назаров А.Н. Методические аспекты параллельного решения задач в облачном кластере мониторинга кибер-атак // Сборник трудов XVIII научно-практической конференции «Информационные технологии в государственном управлении. Цифровая трансформация в человеческий капитал» (25 апреля 2019г.). М.: ФГУП НИИ «Восход», 4 с.

21. Соколов Г.А., Гладких И.М. Математическая статистика: Учебник для вузов. М: Издательство «Экзамен», 2004. 432 с.