Электронный научно-практический журнал «Современные научные исследования и инновации» » Барвин Сергей Константинович

Метрики автоматизированного тестирования web-приложения

Барвин Сергей Константинович — Wed, 03 Apr 2019 05:16:58 +0000

Введение и использование метрик необходимо для улучшения контроля над процессом тестирования. Цель контроля тестирования состоит в получении обратной связи и визуализации процесса тестирования. Необходимую для контроля информацию собирают (как в ручную, так и автоматически) и используют для оценки состояния и принятия решений. Метрики, также могут быть использованы для оценки прогресса выполнения запланированных работ и освоения бюджета [2, с.128]. Любая метрика в автоматизации тестирования должна удовлетворять критериям:

– объективность;

– измеримость;

– должна иметь смысл;

– основана на данных, которые легко доступны;

– может помочь найти направления для совершенствования автоматизации тестирования;

– должна быть простой.

В таблице 1 представлены основные метрики автоматизированного тестирования.

Таблица 1 – Основные метрики автоматизированного тестирования.

№	Метрика	Описание
1	Процент тестов, поддающихся автоматизации.	Отражает адаптированность приложения к автоматизированному тестированию с точки зрения технологий и архитектуры.
2	Частота проведения регрессии.	Чем выше частота регрессии, а соответственно и частота прогонов автотестов, тем выше ценность автоматизации [1, с.87].
3	Количество дефектов на автоматизированный тест.	Ведется подсчет дефектов, как автоматизированных, так и ручных. Если автоматизированное тестирование не находит дефектов или лишь незначительное количество дефектов, то стоит предпринять одно из следующих действий: - выделить области автоматизации для улучшения; - приоритизировать усилия в автоматизации; - отказаться от автоматизации.
4	Время, затрачиваемое на прогон автотестов.	Время, требуемое для прогона автотестов необходимо учитывать при оценки экономической эффективности автоматизации и сравнении с ручным тестированием.
5	Время, необходимое для анализа результатов автоматизированного тестирования.	Показывает, насколько исчерпывающими и читатабельными являются отчеты.
6	Время разработки автоматизированного теста.	Позволяет оценить издержки и потенциальную выгоду от введения автоматизации на проекте.
7	Время поддержки автоматизированного теста.	Время, необходимое на доработку и адаптацию тестов, выделяется за счет времени на разработку новых тестов, а значит, чем выше этот показатель, тем хуже, тем меньше времени остается на другие активности.

Использование метрик сильно упрощает контроль над качеством разрабатываемых продуктов.

Автоматизация ручного регрессионного тестирования web-приложений

Барвин Сергей Константинович — Thu, 25 Apr 2019 05:24:03 +0000

Для web-приложений, в которых часто происходит изменение функционала, становится актуальным вопрос тестирования, как процесса, повышающего качество разрабатываемого продукта. На настоящий момент одним из необходимых видов тестирования, используемых в процессе разработки приложений, выступает регрессионное тестирование.

Регрессионное тестирование проводится после изменений существующей функциональности или исправлений выявленных в ходе испытаний ошибок.

Регрессионное тестирование состоит из тестовых случаев. Тестовых случаев для больших проектов насчитывается тысячами, а рекомендуют их выполнять от трех до пяти раз. Поэтому с целью экономии времени в таком тестировании активно используют методы автоматизации [1, c. 85]..

Автоматизированное тестирование можно определить как: «Управление работами и проведение мероприятий по тестированию, включающих в себя разработку и выполнение тестовых скриптов так, чтобы удовлетворить требования к тестированию, с использованием инструментальных средств автоматизированного тестирования».

Автоматизация приносит наибольшую выгоду там, где тестовые процедуры тестовые процедуры периодически запускаются различными тестовыми скриптами или где тестовые скрипты повторяются. Такое тестирование, где скрипты выполняются много раз, обеспечивает значительную отдачу.

В реальности польза от автоматизации зависит от специфики приложения. В большинстве случаев, не составляет труда спроектировать автотесты таким образом, что время, которое требуется на разработку, не превысит требующегося на ручное тестирование. Чтобы достичь этого результат следует учесть несколько моментов:

– Необходимо выбирать сценарии, которые легко автоматизировать.

– Автотест должен быть легко поддерживаемым. В идеале любую часть скрипта может использоваться в нескольких тестах.

– Участие специалиста по тестированию в работе автотеста должно быть минимальным. В зависимости от задачи это может быть настройка окружения или подготовка тестовых данных.

К минусам автоматизации стоит отнести то, что на поддержку и разработку автотестов может затрачиваться довольно много времени, а также то, что далеко не вся функциональность поддается автоматизации [2, c. 128]..

Из плюсов автоматизации тестирования можно выделить запуск скриптов в любое время на одной или нескольких удаленных машинах, что позволяет проводить автоматическое тестирование параллельно с ручным.

Существует несколько подходов к автоматизации тестирования web-приложений:

1) Тестирование на уровне кода. Это тестирование одного модуля кода (обычно это одна функция или один класс) в изолированном окружении. Это значит, что если код использует какие-то сторонние классы, то вместо них подсовываются классы-заглушки (моки и стабы). Код не должен работать с сетью (и внешними серверами), файлами, базой данных, иначе мы тестируем не саму функцию или класс, а еще и диск, базу, и т.д.

2) Тестирование через графический интерфейс. Имитация действий пользователя с помощью специальных тестовых фреймворков.

В большинстве проектов используются два этих подхода. Первый выполняют сами разработчики, так как структуру программы и ее исходный код лучше понимают они. Второй подход используется специалистами по тестированию.

Популярность тестирования через графический интерфейс объясняется тем, что приложение испытывается таким же способом, которым его будут использовать обычный пользователь. Такое тестирование также имеет несколько подходов:

1) Действия тестировщика во время ручного тестирования записываются через специальную утилиту. Они позволяют выполнять тесты без прямого человека, правда при малейшем изменении в тестовом случае, приходится перезаписывать тест целиком.

2) Сценарный подход – форма программирования на языках, специально разработанных для автоматизации тестирования программного обеспечения. Чтобы разрабатывать такие тесты, необходимы хорошие навыки программирования.

Автоматизация является неотъемлемым этапом развития процесса тестирования. На настоящий момент она не может полностью заменить ручное тестирование, но автоматизация позволяет освободить время специалиста, переключив его на другие задачи.