В статье рассмотрена задача повышения качества тестирования программных средств. Обобщение существующих методов синтеза тестов показало, что они не всегда гарантируют приемлемую полноту тестирования. Поэтому в настоящей работе предложен подход к разработке дополнительных тестов, который основан на анализе базы данных ошибок и возможностей программистов и тестеров. Он не требует знания программного кода и может использоваться при тестировании методом «черного ящика». Обсуждаются основные типы занесенных в базу данных ошибок, уровень их влияния на программный продукт, время, затраченное на их обнаружение и исправление. По результатам анализа ошибок выбираются функции программы, подлежащие дополнительному тестированию. Дополнительные тесты должны подтвердить или опровергнуть вывод о достаточной полноте тестирования функций программы традиционными методами. При выбранном подходе последовательность циклов системного тестирования программных средств рассматривается как итерационный процесс выявления возможных программных ошибок, в рамках которого построение новых сегментов тестов выполняется по результатам предыдущих циклов. Приведены некоторые практические результаты, полученные при использовании рассматриваемого подхода. Обсуждаются пути дальнейшего развития исследований в данном направлении.
The article deals with the problem of improving the quality of applied software (AS) testing. This testing begins with the pre-alpha version and ends at the stage of acceptance testing of the AS. This period includes the process of multiple execution of designed and developed system tests of AS, and includes additional analysis of the program in other ways. We refer to the testing process for a given period of time as a testing cycle (TC), which is usually implemented using the "black box" method without the tester's access to the program code. An analysis of existing methods of tests synthesis showed that these methods not always guarantee an acceptable completeness of testing. Therefore, in this paper we propose an approach to the development of additional tests, based on the analysis of the database of errors (DB) and the capabilities of programmers and testers. These additional tests should confirm or disprove the conclusions about the sufficient completeness of the testing of AS functions during the TC. The work analyzes the types of errors recorded in the database, the level of their influence on the AS, the time spent on their detection and correction. Based on the results of the error analysis, the AS functions that are subject to additional testing are selected. In this approach, the sequence of TC is considered as an iterative process of identifying possible program errors, in which new segments of tests are constructed according to the results of previous cycles. The article gives some practical results obtained in accordance with the proposed methodology and outlines new directions in the study of the effectiveness of AS testing.
The authors declare that there are no conflicts of interest present.