Модификация алгоритма WaldBoost для повышения эффективности решения задач распознавания образов в реальном времени
Аннотация
Задачей исследования является совершенствование известных алгоритмов машинного обучения для распознавания образов с использованием минимального количества времени (минимального количества используемых классификаторов) и с заданной достоверностью результатов. Рассматривается реализация алгоритма WaldBoost, в котором объединены два алгоритма: адаптивного усиления слабых классификаторов – AdaBoost (adaptive boosting), обладающего высокой обобщающей способностью, и последовательного критерия отношения правдоподобия – SPRT (критерий Вальда), являющегося оптимальным правилом принятия решения при различении двух гипотез. Отмечается, что при использовании WaldBoost значения фактических вероятностей ошибок классификации, как правило, оказываются меньше заданных из-за используемых приближенных границ SPRT, вследствие чего в процессе классификации используется излишняя серия слабых классификаторов. В связи с этим предлагается модификация алгоритма WaldBoost, основанная на итерационном уточнении границ принятия решения, позволяющая значительно сократить количество используемых слабых классификаторов, необходимых для распознавания образов с заданной точностью. Показана эффективность предложенного алгоритма на конкретных примерах. Результаты работы подтверждаются статистическим моделированием на нескольких наборах данных. Отмечается, что результаты работы могут быть применены при уточнении других каскадных алгоритмов классификации.
Ключевые слова
Об авторах
А. Н. Чесалин
МИРЭА - Российский технологический университет
Россия
Россия
кандидат технических наук, доцент кафедры компьютерной и информационной безопасности Института кибернетики,
119454, Москва, пр-т Вернадского, д. 78
С. Я. Гродзенский
МИРЭА - Российский технологический университет
Россия
Россия
доктор технических наук, профессор, профессор кафедры метрологии и стандартизации Физико-технологического института,
119454, Москва, пр-т Вернадского, д. 78
М. Ю. Нилов
МИРЭА - Российский технологический университет
Россия
Россия
аспирант кафедры метрологии и стандартизации Физико-технологического института,
119454, Москва, пр-т Вернадского, д. 78
А. Н. Агафонов
МИРЭА - Российский технологический университет
Россия
Россия
выпускник кафедры компьютерной и информационной безопасности Института кибернетики,
119454, Москва, пр-т Вернадского, д. 78
Список литературы
1. Freund Y., Schapire R. A decision-theoretic generalization of on-line learning and an application to boosting. J. Comp. & System Sci. 1997;55(1):119-139. https://doi.org/10.1006/jcss.1997.1504
2. Friedman J. Greedy function approximation: A gradient boosting machine. The Annals of Statistics. 2001;29(5):1189-1232. https://doi.org/10.1109/SMRLO.2016.83.
3. Wald A. Sequential Analysis. NY: John Wiley and Sons, 1947. 212 р.
4. Tartakovsky A., Nikiforov I., Basseville M. Sequential analysis: Hypothesis testing and changepoint detection. Boca Raton: CRC press/Taylor & Francis, 2015. 579 р.
5. Сhesalin A., Grodzenskiy S., Grodzenskiy Ya. About the effectiveness of the statistical sequential analysis in the reliability trials. In: 2016 Second Int. Symp. on Stochastic Models in Reliability Engineering, Life Science and Operations Management (SMRLO). Beer Sheva, Israel, February 15–18, 2016. P. 475-480. https://doi.org/10.1109/SMRLO.2016.83
6. Yanjing O., Nan C., Michael B. An efficient multivariate control charting mechanism based on SPRT. Int. J. Production Res. 2015;53(7):1937-1949. https://doi.org/10.1080/00207543.2014.925601
7. Sochman J., Matas J. WaldBoost – Learning for time constrained sequential detection. In: 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'05). June 20–25, 2005. P. 150-156. https://doi.org/10.1109/CVPR.2005.373
8. Chesalin A., Grodzenskiy S. The algorithm of calculating the refined boundaries of sequential criteria based on the likelyhood ratio. In: Proceed. of the Int. Seminar on Electron Devices Design and Production (SED). April 23–24, 2019. Prague, Czech Republic, 2019. 4 p. IEEE Catalog Number: CFP19P59-CDR. https://doi.org/10.1109/SED.2019.8798445
9. Zhu J., Rosset S., Zou H., Hastie T. Multi-class AdaBoost. Statistics and its Interface. 2006;2(1): 21 p. https://doi.org/10.4310/SII.2009.v2.n3.a8
Дополнительные файлы
|
|
1. Рис. 1. Моделируемые наборы данных (обучающая выборка): “○” соответствует классу y = +1, “×” – классу y = 1. | |
| Тема | ||
| Тип | Исследовательские инструменты | |
Посмотреть
(806KB)
|
Метаданные | |
Для цитирования:
Чесалин А.Н., Гродзенский С.Я., Нилов М.Ю., Агафонов А.Н. Модификация алгоритма WaldBoost для повышения эффективности решения задач распознавания образов в реальном времени. Российский технологический журнал. 2019;7(5):20-29. https://doi.org/10.32362/2500-316X-2019-7-5-20-29
For citation:
Chesalin A.N., Grodzenskiy S.Y., Nilov M.Yu., Agafonov A.N. Modification of the WaldBoost algorithm to improve the efficiency of solving pattern recognition problems in real-time. Russian Technological Journal. 2019;7(5):20-29. (In Russ.) https://doi.org/10.32362/2500-316X-2019-7-5-20-29
Просмотров: 319
Послать статью по эл. почте 