Методы приоритизации процессов переноса данных в центральное хранилище

Цели. Эффективное управление параллельным выполнением ETL-процессов в центральных хранилищах данных критически влияет на общее время обработки. Существующие инструменты оркестрации Apache Airflow, NiFi, Luigi используют упрощенные алгоритмы приоритизации, игнорирующие топологию графов зависимостей и динамику ресурсов, что приводит к субоптимальному планированию. Целью данной работы являются разработка и валидация нового метода приоритизации задач в рамках ETL-конвейеров, направленного на минимизацию их общей длительности за счет глубокого анализа структурных особенностей направленных ациклических графов и использования имитационного моделирования для оценки различных стратегий планирования в условиях конкуренции за ограниченные слоты параллелизма.

Методы. Предложена имитационная модель на языке Python, воспроизводящая выполнение ETL-процессов в среде с ограниченными слотами параллелизма. Модель генерирует направленный ациклический граф, отражающий структуру связей процессов для формирования центрального хранилища данных, и сравнивает 9 алгоритмов приоритизации, включая базовые (приоритизация минимального/максимального среднего времени выполнения), топологические (приоритизация минимального/максимального уровня слоя, максимизация числа зависимостей) и гибридные (разделение слотов на очереди для минимального и максимального времени выполнения). Эксперименты проведены на графах различных топологий на основе полученной имитационной модели.

Результаты. Гибридный алгоритм (разделение слотов: 50% для задач с максимальным временем выполнения, 50% – с минимальным) показал наилучшую эффективность: снижение общего времени выполнения на 15–17% по сравнению с базовыми алгоритмами, минимизацию времени простоя задач на 20–25% и устойчивость к вариациям топологии графов. Линейная комбинация с оптимизированными коэффициентами (время выполнения – наиболее значимый фактор) заняла второе место по эффективности.

Выводы. Приоритизация на основе анализа DAG-топологии и гибридных стратегий существенно сокращает время выполнения ETL-конвейеров. Гибридный алгоритм рекомендуется для внедрения в оркестраторы как балансирующий минимизацию длительности конвейера и времени простоя задач. Перспективное направление – адаптивные алгоритмы, учитывающие динамическую загрузку ресурсов в реальном времени.

1. Kimball R., Ross M. The Data Warehouse Toolkit: The Definitive Guide to Dimensional Modeling. 3nd ed. Kimball group. Wiley; 2013, 608 р.

2. Simitsis A., Skiadopoulos S., Vassiliadis P. The History, Present, and Future of ETL Technology. In: DOLAP, CEUR Workshop Proceedings. 2023;3369:3–12.

3. Tian W. Enhancing Financial Decision-Making Through Automated Business Intelligence Systems. Int. J. e-Collaboration (IJeC). 2025;21(1):1–20. URL: https://www.igi-global.com/article/enhancing-financial-decision-making-through-automated-business-intelligence-systems/367575. Дата обращения 20.01.2025. / Accessed January 20, 2025.

4. El-Sappagh S.H.A., Hendawi A.M.A., El Bastawissy A.H. A proposed model for data warehouse ETL processes. Journal of King Saud University – Computer and Information Sciences (J. King Saud Univ.). 2011;23(2):91–104. https://doi.org/10.1016/j.jksuci.2011.05.005

5. Wijaya R., Pudjoatmodjo B. An overview and implementation of extraction-transformation-loading (ETL) process in data warehouse. In: 2015 3rd International Conference on Information and Communication Technology (ICoICT). 2015. P. 70–74. https://doi.org/10.1109/ICoICT.2015.7231399

6. Кузьмина Ю.В., Кубанских О.В. Краткое описание процесса ETL. Ученые записки Брянского государственного университета. 2017;1(5):33–36. https://www.elibrary.ru/zmwlez

7. Dhaouadi A., Bousselmi K., Gammoudi M.M., Monnet S., Hammoudi S. Data Warehousing Process Modeling from Classical Approaches to New Trends: Main Features and Comparisons. Data. 2022;7(8):113. https://doi.org/10.3390/data7080113

8. Vassiliadis P., Simitsis A., Skiadopoulos S. Graph-Based Modeling of ETL Activities with Multi-level Transformations and Updates. In: Tjoa A.M., Trujillo J. (Eds.). Data Warehousing and Knowledge Discovery. Part of the book series: DaWaK 2005. Lecture Notes in Computer Science. 2005. V. 3589. P. 43–52. https://doi.org/10.1007/11546849_5

9. Yasmin J., Wang J.A., Tian Y., Adams B. An empirical study of developers’ challenges in implementing Workflows as Code: A case study on Apache Airflow. J. Syst. Software. 2024;219(5):112248. https://doi.org/10.1016/j.jss.2024.112248

10. Михайлов А.Н. Использование Apache Airflow для оркестрации процессов обработки данных. Вестник науки. 2024;10(79):783–787. https://www.elibrary.ru/ijihms

11. Громов Н.Д., Платошин А.И., Панов А.В. Сравнительный анализ средств и платформ для автоматизации ETL процессов в современных хранилищах данных. Международный журнал гуманитарных и естественных наук. 2023;11-4(86):46–48. https://doi.org/10.24412/2500-1000-2023-11-4-46-48

12. Жданов Д.Е. Построение ETL процессов на базе Cron и оркестратора задач Luigi. Актуальные исследования. 2023;46-1(176):63–68. https://www.elibrary.ru/nenikj

13. Ueter N., Günzel M., Brüggen G., Chen J. Parallel Path Progression DAG Scheduling. IEEE Transactions on Computers. 2023;72(10):3002–3016. https://doi.org/10.1109/TC.2023.3280137

14. Богатырев В.А., Богатырев С.В., Богатырев А.В. Оценка готовности компьютерной системы к своевременному обслуживанию запросов при его совмещении с информационным восстановлением памяти после отказов. Научно-технический вестник информационных технологий, механики и оптики. 2023;23(3):608–617. https://doi.org/10.17586/2226-1494-2023-23-3-608-617

15. Bogatyrev V.A., Bogatyrev S.V., Bogatyrev A.V. Recovery of Real-Time Clusters with the Division of Computing Resources into the Execution of Functional Queries and the Restoration of Data Generated Since the Last Backup. In: Vishnevskiy V.M., Samouylov K.E., Kozyrev D.V. (Eds.). Distributed Computer and Communication Networks: Control, Computation, Communications. Book series: Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics). 2024. V. 14123. P. 236–250. https://doi.org/10.1007/978-3-031-50482-2_19

16. Karagiannis A., Vassiliadis P., Simitsis A. Scheduling strategies for efficient ETL execution. Inform. Syst. 2013;38(6): 927–945. https://doi.org/10.1016/j.is.2012.12.001

17. Topcuoglu H., Hariri S., Min-You Wu. Performance-Effective and Low-Complexity Task Scheduling for Heterogeneous Computing. IEEE Trans. Parallel Distrib. Syst. 2007;13(3):260–274. https://doi.org/10.1109/71.993206

18. Strengholt P. Building Medallion Architectures. 1st ed. Sebastopol (CA): O’Reilly Media; 2024, 209 р.

19. Serra J. Deciphering Data Architectures. 1st ed. Sebastopol (CA): O’Reilly Media; 2024, 146 р.

20. Blažić G., Poščić P., Jakšić D. Data warehouse architecture classification. In: 2017 40th International Convention on Information and Communication Technology, Electronics and Microelectronics (MIPRO). 2017. P. 1491–1495. https://doi.org/10.23919/MIPRO.2017.7973657