Пушкарев Даниил Александрович - аспирант, преподаватель, факультет программной инженерии и компьютерной техники, Университет ИТМО.
197101, Санкт-Петербург, Кронверкский пр., д. 49, лит. А
Daniil A. Pushkarev - Postgraduate Student, Lecturer, Faculty of Software Engineering and Computer Systems, ITMO University.
49, bldg. A, Kronverkskii pr., St. Petersburg, 197101
Богатырев Владимир Анатольевич - д.т.н., профессор факультета, факультет программной инженерии и компьютерной техники, Университет ИТМО; профессор кафедры информационной безопасности, ГУАП.
197101, Санкт-Петербург, Кронверкский пр., д. 49, лит. А; 190000, Санкт-Петербург, ул. Большая Морская, д. 67, лит. А.
Scopus Author ID 7006571069
Vladimir A. Bogatyrev - Dr. Sci. (Eng.), Professor, Faculty of Software Engineering and Computer Systems, ITMO University; Professor, Department of Information Security, Saint Petersburg State University of Aerospace Instrumentation (SUAI).
49, bldg. A, Kronverkskii pr., St. Petersburg, 197101; 67, bldg. A, Bolshaya Morskaya ul., St. Petersburg, 190000
Scopus Author ID 7006571069
Цели. Эффективное управление параллельным выполнением ETL-процессов в центральных хранилищах данных критически влияет на общее время обработки. Существующие инструменты оркестрации Apache Airflow, NiFi, Luigi используют упрощенные алгоритмы приоритизации, игнорирующие топологию графов зависимостей и динамику ресурсов, что приводит к субоптимальному планированию. Целью данной работы являются разработка и валидация нового метода приоритизации задач в рамках ETL-конвейеров, направленного на минимизацию их общей длительности за счет глубокого анализа структурных особенностей направленных ациклических графов и использования имитационного моделирования для оценки различных стратегий планирования в условиях конкуренции за ограниченные слоты параллелизма.
Методы. Предложена имитационная модель на языке Python, воспроизводящая выполнение ETL-процессов в среде с ограниченными слотами параллелизма. Модель генерирует направленный ациклический граф, отражающий структуру связей процессов для формирования центрального хранилища данных, и сравнивает 9 алгоритмов приоритизации, включая базовые (приоритизация минимального/максимального среднего времени выполнения), топологические (приоритизация минимального/максимального уровня слоя, максимизация числа зависимостей) и гибридные (разделение слотов на очереди для минимального и максимального времени выполнения). Эксперименты проведены на графах различных топологий на основе полученной имитационной модели.
Результаты. Гибридный алгоритм (разделение слотов: 50% для задач с максимальным временем выполнения, 50% – с минимальным) показал наилучшую эффективность: снижение общего времени выполнения на 15–17% по сравнению с базовыми алгоритмами, минимизацию времени простоя задач на 20–25% и устойчивость к вариациям топологии графов. Линейная комбинация с оптимизированными коэффициентами (время выполнения – наиболее значимый фактор) заняла второе место по эффективности.
Выводы. Приоритизация на основе анализа DAG-топологии и гибридных стратегий существенно сокращает время выполнения ETL-конвейеров. Гибридный алгоритм рекомендуется для внедрения в оркестраторы как балансирующий минимизацию длительности конвейера и времени простоя задач. Перспективное направление – адаптивные алгоритмы, учитывающие динамическую загрузку ресурсов в реальном времени.
Objectives. The efficient management of parallel ETL (Extract, Transform, Load) process execution in central data warehouses critically impacts overall processing time. Existing orchestration tools such as Apache Airflow, NiFi, Luigi employ simplified prioritization algorithms which ignore dependency graph topology and resource dynamics, leading to suboptimal scheduling. The objective of this work is to develop and validate a novel task prioritization method for ETL pipelines, aimed at minimizing their total duration through deep analysis of structural features of Directed Acyclic Graphs (DAGs), as well as the use of simulation modeling to evaluate various scheduling strategies under conditions of competition for limited concurrency slots.
Methods. The study proposed a Python simulation model, replicating ETL process execution in an environment with limited concurrency slots. The model generates a DAG which reflects the dependency structure of processes for building a central data warehouse and compares 9 prioritization algorithms. These include basic algorithms (prioritization by minimum/maximum average execution time), topological algorithms (prioritization by minimum/maximum layer level, maximization of dependency count), and hybrid algorithms (splitting slots into queues for minimum and maximum execution time). Experiments were conducted on graphs of a variety of topologies using the developed simulation model.
Results. The hybrid algorithm (slot allocation: 50% for tasks with maximum execution time, 50% for tasks with minimum execution time) demonstrated the highest level of efficiency. It reduced total execution time by 15–17%, when compared to basic algorithms, minimized task idle time by 20–25%, and showed resilience to graph topology variations. A linear combination of optimized coefficients (execution time being the most significant factor) ranked second in terms of efficiency.
Conclusions. Prioritization based on DAG topology analysis and hybrid strategies significantly reduces ETL pipeline execution time. The hybrid algorithm is recommended for implementation in orchestrators, since it balances minimizing pipeline duration and task idle time. A promising area for further study is the development of adaptive algorithms that account for real-time dynamic resource load.
The authors declare that there are no conflicts of interest present.