ИТЕРАЦИОННЫЙ ПОДХОД К ПОВЫШЕНИЮ КАЧЕСТВА ТЕСТИРОВАНИЯ ПРОГРАММ

В статье рассмотрена задача повышения качества тестирования программных средств. Обобщение существующих методов синтеза тестов показало, что они не всегда гарантируют приемлемую полноту тестирования. Поэтому в настоящей работе предложен подход к разработке дополнительных тестов, который основан на анализе базы данных ошибок и возможностей программистов и тестеров. Он не требует знания программного кода и может использоваться при тестировании методом «черного ящика». Обсуждаются основные типы занесенных в базу данных ошибок, уровень их влияния на программный продукт, время, затраченное на их обнаружение и исправление. По результатам анализа ошибок выбираются функции программы, подлежащие дополнительному тестированию. Дополнительные тесты должны подтвердить или опровергнуть вывод о достаточной полноте тестирования функций программы традиционными методами. При выбранном подходе последовательность циклов системного тестирования программных средств рассматривается как итерационный процесс выявления возможных программных ошибок, в рамках которого построение новых сегментов тестов выполняется по результатам предыдущих циклов. Приведены некоторые практические результаты, полученные при использовании рассматриваемого подхода. Обсуждаются пути дальнейшего развития исследований в данном направлении.

база данных ошибок, дополнительные тесты, цикл системного тестирования

1. Басок Б.М., Красовский В.Е. Тестирование программного обеспечения. М.:МИРЭА, 2010. 120 с.

2. Куликов С.А. Тестирование программного обеспечения. Базовый курс. [Электронный ресурс]. - URL: http://svyatoslav.biz/software_testing_book/ (дата обращения:26.06.2017).

3. Технология разработки программного обеспечения // Журнал информационных технологий. IT-технологии. C. 16. [Электронный ресурс]. URL: http://www.irkinfo.ru/tekhnologiya-razrabotki- programmnogo-obespecheniya-str16.html / (дата обращения:28.06.2017).

4. Кулямин В.В., Петренко А.К., Косачев А.С., Бурдонов И.Б. Подход UniTesK к разработке тестов // Программирование. 2003. № 6. C. 25-43.

5. Петренко А.К., Кулямин В.В., Хорошилов А.В. Об интеграции формальных методов в задачах верификации операционных систем // Труды ИСП РАН. 2015. Т. 27. Вып. 5. С. 175-190.

6. Шалыто А.А., Туккель Н.И. Switch-технология - автоматный подход к созданию программного обеспечения «реактивных» систем // Программирование. 2001. № 5. С. 46-62.

7. Landsberg D., Chockler H., Kroening D., Lewis M. Evaluation of measures for statistical fault localisation and an optimising scheme // Fundamental Approaches to Software Engineering : 18th Int. Conf., FASE 2015. 2015/3/31. P. 115-129. [Электронный ресурс]. URL: Evaluation of Measures for Statistical Fault Localisation and an Optimising Scheme http://dblp.uni-trier.de/db/conf/fase/fase2015 (дата обращения: 28.06.2017).

8. Басок Б.М., Гречин А.А. Об усовершенствовании статистического метода оценки полноты тестов программ и устройств // Инструменты и методы анализа программ: Труды Междунар. науч.-практ. конф. Кострома, 2013. С. 40-45.

9. Wei J., Thomas A., Li G., Pattabiraman K. Quantifying the accuracy of high-level fault injection techniques for hardware faults / In: 44th IEEE/IFIP Int. Conf. on Dep. Sys. & Netw. (DSN ’14). IEEE, June 13, 2014. P. 375-382.

10. Harman M., Jia Y., Langdon W.B. A Manifesto for higher order mutation testing // Third Int. Conf. on Software Testing, Verification, and Validation Workshops (ICSTW), 2010. April 6-10, 2010. P. 80-89.