Бизнес-цель
Клиент – один из крупнейших интернет-магазинов по продаже натуральных продуктов: витаминов, гомеопатических средств, средств по уходу и товаров для животных.
Магазин работал на базе CMS Magento Community Edition.
В связи с расширением бизнеса у клиента возникли следующие потребности:
- провести безболезненную миграцию магазина с платформы Magento Community Edition на Magento Enterprise Edition.
- реализовать адаптивный дизайн веб-сайта.
- улучшить имеющуюся функциональность.
Ход проекта
С учётом данных потребностей клиента нужно было провести следующие виды тестирования:
- Полный цикл тестирования новой и имеющейся функциональности сайта после перехода на Magento EE.
- Тестирование пользовательского интерфейса с переходом на адаптивный дизайн.
- Кросс-браузерное тестирование.
- Тестирование на мобильных устройствах.
- Тестирование миграции данных. Вся информация о заказах на сайте мигрировала в базу данных с новой структурой в связи с переходом на Magento EE. Важно было удостовериться, что ни один заказ не остался необработанным.
- Нагрузочное тестирование для определения скорости работы сайта при единовременной работе различного числа пользователей.
Для выполнения всех задач по тестированию была выбрана команда «Точки качества». Инженеры обладали достаточной экспертизой, чтобы закрыть все потребности по различным сервисам. Кроме того, QA-специалисты подготовили детальный план работ по тестированию с рациональным распределением бюджета, которым располагал заказчик.
Тестируемые модули
QA-команда тестировала все модули решения как на клиентской части, так и на серверной.
Модули фронтенда: регистрация пользователя, навигация по каталогу, различные типы поиска и фильтрации, добавление товаров в корзину, применение промокодов, использование специальных условий акций, размещение заказа и оплата, бонусная программа, различные нотификации.
На бэкенде были реализованы настройки каталога и параметров продуктов, создание маркетинговых акций и условий скидок, управление остатками товаров, управление заказами и оплатой и многое другое.
При проверке функциональности продукта было выявлено множество дефектов различной степени серьезности. Более половины имели статус major и выше. Именно они в будущем могли оказать негативное влияние на пользовательский опыт.
Наиболее серьезный дефект относился к функциональности оплаты товаров посредством платежной системы PayPal. Дефект требовал немедленного устранения, поскольку мог серьезно повлиять на прибыль компании заказчика.
Кросс-браузерное тестирование
В самом начале привлечения инженеров компании заказчик принял решение отказаться от поддержки браузера IE и других устаревших версий популярных браузеров. Тесты проводились в последних версиях Google Chrome, Firefox и Safari.
Мобильное тестирование
Для оценки адаптивного дизайна инженеры выполнили тестирование продукта на различных мобильных устройствах (iPhone, iPad, Samsung Galaxy, Samsung Galaxy Tab).
Нагрузочное тестирование
Перед инженерами были поставлены следующие задачи:
- Определить максимальное число пользователей, которые имеют доступ к веб-сайту одновременно.
- Понять, что происходит, когда нагрузка на веб-сайт превышает допустимую (перестает работать совсем или скорость загрузки страниц падает).
- Определить, какой из компонентов системы является ее слабым звеном (веб-сервер, база данных или балансировщик нагрузки).
- Собрать статистику по производительности аппаратной части серверов и соотнести ее с числом пользователей.
- Измерить скорость отклика веб-сайта для всех ключевых операций, определить самое большое значение.
- Собрать статистику ошибок.
Результаты
В результате тестирования были выполнены все поставленные задачи. Также инженерами был сделан вывод о том, что страницы веб-сайта были очень тяжёлыми, что негативно сказывалось на скорости загрузки решения.
Поэтому были предложены шаги по оптимизации клиентской части (использование серверного или клиентского кэширования, оптимизация изображений и программного кода, сокращение Java-скрипта и т.д.).
По завершению тестирования инженеры создали подробную документацию, в которой изложили всю информацию по качеству продуктов. Команде заказчика были переданы:
- Отчёт по качеству решения с детализацией дефектов, обнаруженных при проведении всех видов тестирования. Дефекты были разбиты по степени серьезности.
- Отчёт по проведению нагрузочного тестирования.
- Детальное описание дефектов в баг-трекинговой системе Zoho с приложенными скриншотами и файлами видеозаписи.
- Рекомендации по улучшению качества приложения и оптимизации окружения системы.
На стороне заказчика отсутствовали отлаженные процессы тестирования. Кроме того, команда по разработке сильно затягивала сроки, а макеты дизайна и требования к новой функциональности были описаны недостаточно полно, что увеличивало время на коммуникацию и выяснение реальных требований. В результате на стабилизацию и тестирование решения оставалось критически мало времени.
Для проверки ключевых областей продукта и устранения наиболее критичных дефектов QA-команда была увеличена, а сами работы по тестированию проводились и в выходные дни.
В пиковый момент проекта в команду входили: 1 QA-менеджер, 1 инженер по тестированию производительности, 2 QA-инженера.
Средний опыт команды – 1,5 года.
