Бизнес-цель
Заказчик – один из лидеров, оказывающих услуги в области фармацевтики и корпоративного аутсорсинга. Содействуя развитию лекарственных средств и консультируя на этапе их разработки, клиент использует инновации для укрепления здоровья и продления жизни людей в разных регионах.
Заказчик собирает, анализирует и преобразует большие данные о торговых операциях в базы данных, которые потом отправляет своим клиентам. Чтобы обеспечить целостность и полноту информации, а также ее соответствие предъявленным требованиям и бизнес-логике, заказчик обратился к нашим экспертам за услугами по тестированию big data (больших данных).
Ход проекта
Компания выделила двух опытных QA-инженеров, которые приступили к тестированию продукта только после первой фазы – подготовки базы данных. Данная фаза состояла из нескольких шагов:
- Клиент отправляет на загрузку исходные файлы со структурированными и полуструктурированными данными.
- Затем они загружаются в промежуточные базы данных (их количество зависит от числа исходных файлов).
- Далее все базы преобразуются в одну консолидированную со структурированной информацией, представленной в соответствии с бизнес-логикой и требованиями клиента.
- Консолидированная база трансформируется в базу выходных структурированных данных из множества исходных файлов (например, топ-50 корпораций с самыми впечатляющими показателями продаж, дополнительные показатели по среднему объему продаж на основе исходных данных, иные способы группировки данных в зависимости от запросов клиента).
В ходе второй фазы – тестирования – инженеры проверяли:
- Бизнес-логику на уровне промежуточной / консолидированной баз данных;
- Соответствие информации в исходных файлах и базе выходных данных после трансформации;
- Структуру базы;
- Специфичные проверки (отображение информации списками, правильный расчет добавленных показателей на основе исходных данных, группировки данных и многое другое).
В процессе работы QA-инженерам приходилось тестировать большое количество объёмных исходных файлов с помощью SQL-запросов, на что часто уходило много времени.
Поэтому для автоматизации тестирования big data команда использовала инструменты Excel – Power query, Macros, Pivot tables. С их помощью инженеры загружали данные из различных источников (CSV-файлов, Excel, БД), группировали их и сравнивали. Для удобной визуализации данных команда планирует использовать инструмент Power BI.
В ходе последующей стабилизации все узкие места, обнаруженные QA-инженерами на уровне баз данных, отправляются программистам на доработку (если данные были потеряны или обрезаны, содержали непредвиденные символы, загружались не в полном объеме, формат был считан некорректно и многое другое).
Только в случае бездефектной работы новой версии её отправляли в продуктовую среду.
Инструменты
Power BI
Power query
Macros
Pivot tables
