кандидат технических наук, доцент кафедры компьютерной и информационной безопасности Института кибернетики,
119454, Москва, пр-т Вернадского, д. 78
Cand. of Sci. (Engineering), Associate Professor of the Chair of Computer and Information Security, Institute of Cybernetics,
78, Vernadskogo pr., Moscow 119454
доктор технических наук, профессор, профессор кафедры метрологии и стандартизации Физико-технологического института,
119454, Москва, пр-т Вернадского, д. 78
Dr. of Sci., Professor of the Chair of Metrology and Standardization, Institute of Physics and Technology,
78, Vernadskogo pr., Moscow 119454
аспирант кафедры метрологии и стандартизации Физико-технологического института,
119454, Москва, пр-т Вернадского, д. 78
Postgraduate Student, the Chair of Metrology and Standardization, Institute of Physics and Technology,
78, Vernadskogo pr., Moscow 119454
выпускник кафедры компьютерной и информационной безопасности Института кибернетики,
119454, Москва, пр-т Вернадского, д. 78
Master, the Chair of Computer and Information Security, Institute of Cybernetics,
78, Vernadskogo pr., Moscow 119454
Задачей исследования является совершенствование известных алгоритмов машинного обучения для распознавания образов с использованием минимального количества времени (минимального количества используемых классификаторов) и с заданной достоверностью результатов. Рассматривается реализация алгоритма WaldBoost, в котором объединены два алгоритма: адаптивного усиления слабых классификаторов – AdaBoost (adaptive boosting), обладающего высокой обобщающей способностью, и последовательного критерия отношения правдоподобия – SPRT (критерий Вальда), являющегося оптимальным правилом принятия решения при различении двух гипотез. Отмечается, что при использовании WaldBoost значения фактических вероятностей ошибок классификации, как правило, оказываются меньше заданных из-за используемых приближенных границ SPRT, вследствие чего в процессе классификации используется излишняя серия слабых классификаторов. В связи с этим предлагается модификация алгоритма WaldBoost, основанная на итерационном уточнении границ принятия решения, позволяющая значительно сократить количество используемых слабых классификаторов, необходимых для распознавания образов с заданной точностью. Показана эффективность предложенного алгоритма на конкретных примерах. Результаты работы подтверждаются статистическим моделированием на нескольких наборах данных. Отмечается, что результаты работы могут быть применены при уточнении других каскадных алгоритмов классификации.
The implementation of the WaldBoost algorithm is considered, and its modification is proposed, which allows to significantly reduce the number of weak classifiers to achieve a given classification accuracy. The efficiency of the proposed algorithm is shown by specific examples. The paper studies modifications of compositions (ensembles) of algorithms for solving real-time pattern recognition problems. The aim of the study is to improve the known machine learning algorithms for pattern recognition using a minimum amount of time (the minimum number of used classifiers) and with a given accuracy of the results. We consider the implementation of the WaldBoost algorithm, which combines two algorithms: adaptive boosting of weak classifiers – AdaBoost (adaptive boosting), which has a high generalizing ability, and the sequential probability ratio test – SPRT (Wald test), which is the optimal rule of decision-making when distinguishing two hypotheses. It is noted that when using the WaldBoost, the values of the actual probability of classification errors, as a rule, are less than given because of the approximate boundaries of the SPRT, so that the classification process uses an excessive series of weak classifiers. In this regard, we propose a modification of the WaldBoost based on iterative refinement of the decision boundaries, which can significantly reduce the number of used weak classifiers required for pattern recognition with a given accuracy. The efficiency of the proposed algorithm is shown by specific examples. The results are confirmed by statistical modeling on several data sets. It is noted that the results can be applied in the refinement of other cascade classification algorithms.
The authors declare that there are no conflicts of interest present.