В предыдущей статье мы определили, что подразумевается под эффективностью автоматизации и для чего ее рассчитывать. Сейчас мы рассмотрим шесть наиболее значимых факторов, влияющих на эффективность
автоматизации тестирования.
Частота запуска тестов
Допустим, один тест выполняется каждый день и требует 1 час работы тестировщика. Разработка данного теста занимает 4 часа. Очевидно, что уже на пятый день запусков автотесты станут эффективнее ручного тестирования (заместят их). А если мы станем запускать тесты два раза в день? Тогда эффективными они станут уже на третий день.
Стоит отметить, что здесь кроется подводный камень — запуск тестов по «необходимости», а не по «желанию». То есть, запуски
должны приносить значимый результат.
Data-driven тестирование
Зачастую один и тот же тест требуется выполнять с различным набором входных данных или на разных окружениях. В данном случае автоматизация тестирования с использованием подхода data-driven расцветает во всей красе – разработать требуется всего один тест, который будет принимать на вход разные данные.
Например, кросс-браузерное тестирование или проверка создания заявок с разными данными.
Опыт тестировщика
Фактор, который сильно сказывается на стоимости разработки, значительно снижая эффективность.
Если автоматизацией тестирования на проекте начинают заниматься люди без достаточного опыта в создании автотестов, это приводит к резкому увеличению стоимости разработки теста, его поддержки, анализа запусков и так далее.
Стоимость инструментария
На рынке представлено большое количество платных средств автоматизации тестирования. Многие из них значительно превосходят бесплатные аналоги, позволяя делать более стабильные тесты, разрабатывать и отлаживать их быстрее. Случается так, что для конкретного интерфейса автоматизации (например, Adobe Air) существует чуть ли не единственный инструмент автоматизации, стоимость которого значительна.
Затраты на приобретение лицензий в таком случае необходимо относить к общим затратам на тестирование.
Анализ и поддержка
При оценке эффективности часто забывают про такие важные вещи, как анализ запусков тестов и их поддержка. При большом количестве автотестов данные активности могут занимать значительное время.
Стоимость подготовки тестовых наборов
Зачастую инженеры по автоматизации тестирования получают на вход тест-кейсы от команды ручного тестирования, которые редко подходят для полноценной автоматизации. То же самое и с наборами тестовых данных.
