Смирнов Александр Витальевич, к.т.н., доцент, профессор кафедры телекоммуникаций Института радиоэлектроники и информатики Scopus Author ID 56380930700
119454, Москва, пр-т Вернадского, д. 78
Alexander V. Smirnov, Cand. Sci. (Eng.), Professor, Department of Telecommunications, Institute of Radio Electronics and Informatics.Scopus Author ID 56380930700
78, Vernadskogo pr., Moscow, 119454
Цели. Целью работы было исследование зависимостей, связывающих характеристики оврагов, т.е. участков рельефа минимизируемой функции, на которых ее изменение по одному из направлений значительно медленнее, чем по другим направлениям, с погрешностью определения координат ее минимума.
Методы. В экспериментах использовалась специально разработанная тестовая функция с изменяемыми в широких пределах параметрами овражности. В сериях опытов случайно задавались положение и параметры оврага и координаты стартовой точки поиска. Размерность и степень овражности оценивались по собственным числам аппроксимированного гессиана функции в точке окончания поиска минимума. Погрешность определялась как эвклидово расстояние между заданным положением минимума функции и конечной точкой поиска. Для статистической обработки результатов применены линейный регрессионный анализ и аппроксимация с помощью модели искусственной нейронной сети (ИНС).
Результаты. Установлено наличие линейной зависимости между логарифмами степени овражности и погрешности определения координат минимума функции. Коэффициент детерминации R2 ~ 0.88. Дополнительный учет эвклидовой нормы градиента функции в точке окончания поиска позволил повысить коэффициент детерминации до R2 ~ 0.95, а при использовании модели ИНС – до R2 ~ 0.97.
Выводы. Найденные зависимости можно использовать для оценки ожидаемой погрешности определения координат экстремумов оптимизируемых функций. В дальнейшем необходимо расширить методику на функции с размерностью оврагов более единицы и на другие типы сложных для алгоритмов оптимизации участков рельефа.
Objectives. A valley is a region of an objective function landscape in which the function varies along one direction more slowly than along other directions. In order to determine the error of the objective function minimum location in such regions, it is necessary to analyze relations of valley parameters.
Methods. A special test function was used in numerical experiments to model valleys with variables across wide ranges of parameters. The position and other valley parameters were defined randomly. Valley dimensionality and ratio were estimated from eigenvalues of the approximated Hessian of objective function in the termination point of minimum search. The error was defined as the Euclidian distance between the known minimum position and the minimum search termination point. Linear regression analysis and approximation with an artificial neural network model were used for statistical processing of experimental data.
Results. A linear relation of logarithm of valley ratio to logarithm of minimum position error was obtained. Here, the determination coefficient R2 was ~0.88. By additionally taking into account the Euclidian norm of the objective function gradient in the termination point, R2 can be augmented to ~0.95. However, by using the artificial neural network model, an approximation R2 ~ 0.97 was achieved.
Conclusions. The obtained relations may be used for estimating the expected error of extremum coordinates in optimization problems. The described method can be extended to functions having a valley dimensionality of more than one and to other types of hard-to-optimize algorithms regions of objective function landscapes.
The authors declare that there are no conflicts of interest present.