mireabulletinRussian Technological JournalRussian Technological Journal2782-32102500-316XRTU MIREA10.32362/2500-316X-2026-14-1-82-90KCUBAGmireabulletin-1367Research ArticleМАТЕМАТИЧЕСКОЕ МОДЕЛИРОВАНИЕMATHEMATICAL MODELINGТрансформация пространства признаков в методе опорных векторовFeature space transformation in the support vector methodhttps://orcid.org/0009-0003-2314-7400ФедоровА. В.FedorovA. V.

Федоров Алексей Викторович - аспирант, кафедра высшей математики, Институт искусственного интеллекта.

119454, Москва, пр-т Вернадского, д. 78

Aleksey V. Fedorov - Postgraduate Student, Higher Mathematics Department, Institute of Artificial Intelligence, MIREA – Russian Technological University.

78, Vernadskogo pr., Moscow, 119454

fedorov_av@mirea.ruhttps://orcid.org/0009-0004-0905-3827ПарфеновД. В.ParfenovD. V.

Парфенов Денис Васильевич - к.т.н., доцент, кафедра высшей математики, Институт искусственного интеллекта.

119454, Москва, пр-т Вернадского, д. 78

Scopus Author ID 57217119805

Denis V. Parfenov - Cand. Sci. (Eng.), Associate Professor, Higher Mathematics Department, Institute of Artificial Intelligence, MIREA – Russian Technological University.

78, Vernadskogo pr., Moscow, 119454

Scopus Author ID 57217119805

parfenov@mirea.ruМИРЭА – Российский технологический университетРоссияMIREA – Russian Technological UniversityRussian Federation2026050220261418290Copyright © Федоров А.В., Парфенов Д.В., 20262026Федоров А.В., Парфенов Д.В.Fedorov A.V., Parfenov D.V.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://www.rtj-mirea.ru/jour/article/view/1367Цели

Цели. Работа посвящена разработке и исследованию обобщенного нелинейного метода опорных векторов (support vector machine, SVM) с использованием адаптивной трансформации пространства признаков, направленного на улучшение вычислительной эффективности при сохранении высокого качества классификации. В качестве задачи-примера рассматривается двухклассовая классификация. Целью исследования является количественная оценка производительности предложенного подхода в сравнении с классическими SVM-моделями, использующими фиксированные ядровые функции, а также изучение влияния параметров трансформации на качество классификации.

Методы

Методы. Предлагается модифицированный подход, при котором входные данные предварительно преобразуются с помощью обучаемого нелинейного отображения фиксированной структуры. Это отображение реализуется в виде композиции элементарных функций и параметризуется ограниченным числом обучаемых весов, что обеспечивает контроль над сложностью модели. После трансформации применяется линейный SVM с L2-регуляризацией. Для обучения модели используются стандартные методы численной оптимизации без ограничений. Качество классификации оценивается с помощью метрики точности (Accuracy), усредненной по результатам 10-кратной перекрестной валидации. Рассматривается поведение модели при изменении размерности признакового пространства. Проводится анализ вычислительной сложности по числу операций и времени применения модели на тестовых выборках.

Результаты

Результаты. Численные эксперименты показали, что предложенная модель позволяет существенно сократить время классификации по сравнению с SVM с полиномиальным ядром, обеспечивая при этом сопоставимое качество. Анализ временных затрат подтвердил, что предложенный подход масштабируется значительно лучше, чем классические ядровые методы. При этом структура модели сохраняет интерпретируемость и может быть дополнительно адаптирована под особенности предметной области.

Выводы

Выводы. Разработанный метод представляет собой эффективную альтернативу классическим ядровым алгоритмам. Благодаря параметризуемому отображению признакового пространства он обеспечивает адаптивность, интерпретируемость и масштабируемость, что делает его перспективным для практического применения в задачах машинного обучения.

Objectives

Objectives. This study focuses on the development and investigation of a generalized nonlinear Support Vector Machine (SVM) method incorporating an adaptive transformation of the feature space. Its aim is to improve computational efficiency while maintaining high classification accuracy. The binary classification problem is used as a case study. The main objective of the research is to quantitatively evaluate the performance of the proposed approach when compared to classical SVM models using fixed kernel functions, and to analyze how the transformation parameters affect classification quality.

Methods

Methods. The proposed approach involves a preliminary transformation of the input data using a learnable nonlinear mapping with a fixed structure. This mapping is implemented as a composition of elementary functions and is parameterized by a limited number of trainable weights which allows control over model complexity. A linear SVM with L2 regularization is applied after the transformation. The model is trained using conventional, unconstrained numerical optimization methods. The classification quality is evaluated using the Accuracy metric averaged over 10-fold cross-validation. The work also studies the behavior of the model with varying feature space dimensionality. In addition, computational complexity is analyzed in terms of the number of operations and inference time required on test datasets.

Results

Results. Numerical experiments demonstrate that the proposed model significantly reduces classification time when compared to a polynomial-kernel SVM, while maintaining a comparable level of accuracy. The runtime analysis confirms that the proposed approach scales much better than traditional kernel methods. At the same time, the structure of the model remains interpretable and can be further adapted to the specifics of the application domain.

Conclusions

Conclusions. The method developed provides an efficient alternative to traditional kernel-based algorithms. Through the use of a parameterized transformation of the feature space, the method enables adaptability, interpretability, and scalability, making it promising for practical applications in machine learning tasks.

классификацияпреобразование признакового пространстванелинейное отображениенелинейный метод опорных векторовфункции ядравычислительная сложностьclassificationfeature space transformationnonlinear mappingnonlinear support vector machinekernel functionscomputational complexityReferencesVapnik V. Statistical Learning Theory. New York: Wiley; 1998, 736 p. ISBN 978-0-471-03003-4Vapnik V. Statistical Learning Theory. New York: Wiley; 1998, 736 p. ISBN 978-0-471-03003-4Maggioni F., Spinelli A. A novel robust optimization model for nonlinear Support Vector Machine. Computers & Operations Research. 2024;157:105059.Maggioni F., Spinelli A. A novel robust optimization model for nonlinear Support Vector Machine. Computers & Operations Research. 2024;157:105059.Rubin N., Fischer K., Lindner J., Dahmen D., Seroussi I., Ringel Z., Krüger M., Helias M. From Kernels to Features: A Multi-Scale Adaptive Theory of Feature Learning. arXiv preprint arXiv:2402.03210. 2024. https://doi.org/10.48550/arXiv.2502.03210Rubin N., Fischer K., Lindner J., Dahmen D., Seroussi I., Ringel Z., Krüger M., Helias M. From Kernels to Features: A Multi-Scale Adaptive Theory of Feature Learning. arXiv preprint arXiv:2402.03210. 2024. https://doi.org/10.48550/arXiv.2502.03210LeJeune D., Alemohammad S. An Adaptive Tangent Feature Perspective of Neural Networks. In: Proceedings of the 37th International Conference on Machine Learning (ICML). 2024. URL: https://proceedings.mlr.press/v234/lejeune24a/lejeune24a.pdf. Дата обращения 07.07.2025. / Accessed July 07, 2025.LeJeune D., Alemohammad S. An Adaptive Tangent Feature Perspective of Neural Networks. In: Proceedings of the 37th International Conference on Machine Learning (ICML). 2024. URL: https://proceedings.mlr.press/v234/lejeune24a/lejeune24a.pdf. Дата обращения 07.07.2025. / Accessed July 07, 2025.Li Y., Lin Q. Diagonal Over-parameterization in Reproducing Kernel Hilbert Spaces as an Adaptive Feature Model: Generalization and Adaptivity. arXiv preprint arXiv:2501.08679. 2025. https://arxiv.org/abs/2501.08679Li Y., Lin Q. Diagonal Over-parameterization in Reproducing Kernel Hilbert Spaces as an Adaptive Feature Model: Generalization and Adaptivity. arXiv preprint arXiv:2501.08679. 2025. https://arxiv.org/abs/2501.08679Kurbucz M.T., Benkő Z., Varga L., et al. Adaptive Law-Based Transformation (ALT): A Fast and Transparent Feature Transformation Method for Time Series Classification. arXiv preprint arXiv:2501.09217. 2025. https://arxiv.org/abs/2501.09217Kurbucz M.T., Benkő Z., Varga L., et al. Adaptive Law-Based Transformation (ALT): A Fast and Transparent Feature Transformation Method for Time Series Classification. arXiv preprint arXiv:2501.09217. 2025. https://arxiv.org/abs/2501.09217Tikhonov A.N., Arsenin V.Y. Solutions of Ill-Posed Problems. Washington, D.C.: W.H. Freeman and Co.; 1977, 258 p.Tikhonov A.N., Arsenin V.Y. Solutions of Ill-Posed Problems. Washington, D.C.: W.H. Freeman and Co.; 1977, 258 p.Bishop C.M. Pattern Recognition and Machine Learning. New York: Springer; 2006, 738 p.Bishop C.M. Pattern Recognition and Machine Learning. New York: Springer; 2006, 738 p.Fletcher R. Practical Methods of Optimization. New York: John Wiley & Sons; 1987, 464 p.Fletcher R. Practical Methods of Optimization. New York: John Wiley & Sons; 1987, 464 p.Baydin A.G., Pearlmutter B.A., Radul A.A., Siskind J.M. Automatic differentiation in machine learning: a survey. Journal of Machine Learning Research (JMLR). 2018;18(153):1–43.Baydin A.G., Pearlmutter B.A., Radul A.A., Siskind J.M. Automatic differentiation in machine learning: a survey. Journal of Machine Learning Research (JMLR). 2018;18(153):1–43.Fisher J. Automatic differentiation with dual numbers. arXiv preprint arXiv:2201.00024.Fisher J. Automatic differentiation with dual numbers. arXiv preprint arXiv:2201.00024.Bischl B., Casalicchio G., Feurer M., Hutter F., Lang M., Mantovani R.G., van Rijn J.N., Vanschoren J. OpenML Benchmarking Suites. arXiv preprint arXiv:1708.03731v2 [stat.ML], 2019. https://arxiv.org/abs/1708.03731v2Bischl B., Casalicchio G., Feurer M., Hutter F., Lang M., Mantovani R.G., van Rijn J.N., Vanschoren J. OpenML Benchmarking Suites. arXiv preprint arXiv:1708.03731v2 [stat.ML], 2019. https://arxiv.org/abs/1708.03731v2Kohavi R. A Study of Cross-Validation and Bootstrap for Accuracy Estimation and Model Selection. In: Proceedings of Fourteenth International Joint Conference on Artificial Intelligence (IJCAI). 1995;14(2):1137–1143.Kohavi R. A Study of Cross-Validation and Bootstrap for Accuracy Estimation and Model Selection. In: Proceedings of Fourteenth International Joint Conference on Artificial Intelligence (IJCAI). 1995;14(2):1137–1143.Labatut V., Cherifi H. Accuracy Measures for the Comparison of Classifiers. arXiv preprint arXiv:1207.3790. https://doi.org/10.48550/arXiv.1207.3790Labatut V., Cherifi H. Accuracy Measures for the Comparison of Classifiers. arXiv preprint arXiv:1207.3790. https://doi.org/10.48550/arXiv.1207.3790Schölkopf B., Smola A.J. Learning with Kernels. Cambridge: MIT Press; 2002, 300 p.Schölkopf B., Smola A.J. Learning with Kernels. Cambridge: MIT Press; 2002, 300 p.Hofmann T., Schölkopf B., Smola A.J. Kernel Methods in Machine Learning. Ann. Statist. 2008;36(3):1171–1220. https://doi.org/10.1214/009053607000000677Hofmann T., Schölkopf B., Smola A.J. Kernel Methods in Machine Learning. Ann. Statist. 2008;36(3):1171–1220. https://doi.org/10.1214/009053607000000677Boser B.E., Guyon I.M., Vapnik V. A Training Algorithm for Optimal Margin Classifiers. In: Proceedings of the Fifth Annual Workshop on Computational Learning Theory (COLT). 1992. P. 144–152. https://doi.org/10.1145/130385.130401Boser B.E., Guyon I.M., Vapnik V. A Training Algorithm for Optimal Margin Classifiers. In: Proceedings of the Fifth Annual Workshop on Computational Learning Theory (COLT). 1992. P. 144–152. https://doi.org/10.1145/130385.130401Cortes C., Vapnik V. Support-Vector Networks. Mach. Learn. 1995;20(3):273–297. https://doi.org/10.1007/BF00994018Cortes C., Vapnik V. Support-Vector Networks. Mach. Learn. 1995;20(3):273–297. https://doi.org/10.1007/BF00994018

The authors declare that there are no conflicts of interest present.