Введение и использование метрик необходимо для улучшения контроля над процессом тестирования. Цель контроля тестирования состоит в получении обратной связи и визуализации процесса тестирования. Необходимую для контроля информацию собирают (как в ручную, так и автоматически) и используют для оценки состояния и принятия решений. Метрики, также могут быть использованы для оценки прогресса выполнения запланированных работ и освоения бюджета [2, с.128]. Любая метрика в автоматизации тестирования должна удовлетворять критериям:
– объективность;
– измеримость;
– должна иметь смысл;
– основана на данных, которые легко доступны;
– может помочь найти направления для совершенствования автоматизации тестирования;
– должна быть простой.
В таблице 1 представлены основные метрики автоматизированного тестирования.
Таблица 1 – Основные метрики автоматизированного тестирования.
|
№ |
Метрика |
Описание |
|
1 |
Процент тестов, поддающихся автоматизации. | Отражает адаптированность приложения к автоматизированному тестированию с точки зрения технологий и архитектуры. |
|
2 |
Частота проведения регрессии.
|
Чем выше частота регрессии, а соответственно и частота прогонов автотестов, тем выше ценность автоматизации [1, с.87]. |
|
3 |
Количество дефектов на автоматизированный тест.
|
Ведется подсчет дефектов, как автоматизированных, так и ручных. Если автоматизированное тестирование не находит дефектов или лишь незначительное количество дефектов, то стоит предпринять одно из следующих действий:
- выделить области автоматизации для улучшения; - приоритизировать усилия в автоматизации; - отказаться от автоматизации. |
|
4 |
Время, затрачиваемое на прогон автотестов.
|
Время, требуемое для прогона автотестов необходимо учитывать при оценки экономической эффективности автоматизации и сравнении с ручным тестированием. |
|
5 |
Время, необходимое для анализа результатов автоматизированного тестирования. | Показывает, насколько исчерпывающими и читатабельными являются отчеты. |
|
6 |
Время разработки автоматизированного теста. | Позволяет оценить издержки и потенциальную выгоду от введения автоматизации на проекте. |
|
7 |
Время поддержки автоматизированного теста. | Время, необходимое на доработку и адаптацию тестов, выделяется за счет времени на разработку новых тестов, а значит, чем выше этот показатель, тем хуже, тем меньше времени остается на другие активности. |
Использование метрик сильно упрощает контроль над качеством разрабатываемых продуктов.
Библиографический список
- Иконников В.В., Лебедев А.А Система автоматизации регрессионного тестирования программного обеспечения с закрытым исходным кодом, разрабатываемая для мейнфреймов, работающих под управлением операционной системы Z/OS // Современная наука: актуальные проблемы теории и практики. Серия: Естественные и технические науки. – 2011. – №1. – С. 84-87.
- Иконников В.В., Лебедев А.А Разработка системы автоматизации регрессионного тестирования // Объектные системы. – 2011. – №3 (3). – С. 126-130.