БИЗНЕС-ЦЕЛЬ
Клиент — один из лидеров российского рынка, комплексный поставщик товаров для офиса и бизнеса: канцелярия, компьютерная техника, мебель, а также обеспечение производственных площадок.
Тестируемый продукт — корпоративная ERP-система, которая мигрировала с одной конфигурации окружения на другую. Клиент поставил перед «Точкой качества» две задачи:
- Выбрать наиболее подходящую по производительности конфигурацию окружения, на которую получится безопасно перенести корпоративную ERP-систему (для этого эксперты «Точки качества» провели нагрузочное тестирование на различных конфигурациях, чем помогли клиенту выбрать наиболее оптимальную).
- Убедиться, что на новом окружении вся функциональность предыдущей ERP-системы работает исправно и стабильно (для этого эксперты провели функциональное тестирование).
Для решения поставленных задач эксперты «Точки качества» проанализировали большое количество документации и бизнес-процессов клиента и разработали методику тестирования на основе эмуляции работы реальных пользователей на тестовом окружении.
ОБЗОР ПРОЕКТА
В ходе сотрудничества эксперты «Точки Качества» проделали следующие виды работ:
- Изучили более 100 сложных бизнес-процессов клиента и разработали тестовую модель, включающую боле 1500 тест-кейсов для ручного функционального тестирования. Для этого команда «Точки качества» тесно сотрудничала со специалистами клиента и проанализировала большой объём сопроводительной документации.
- Разработали методику нагрузочного тестирования, основанную на эмуляции действий реальных пользователей системы.
- Провели нагрузочное тестирование для того, чтобы определить, какую оптимальную конфигурацию окружения для миграции ERP-системы выбрать клиенту.
- Провели функциональное и интеграционное тестирование по разработанным тестовым сценариям.
Сложность проекта:
Существующая документация не покрывала все аспекты работы системы, а основными носителями информации являлись сотрудники компании клиента. В процессе коммуникации специалистам удалось восстановить и дополнить документацию, а также найти ошибки в описании существующих бизнес-процессов.
Функциональное тестирование:
Задачи:
- изучить ERP-систему клиента и разработать тестовые сценарии, основанные на бизнес-процессах компании;
- выполнить тестовые сценарии в ERP-системе, работающей на эталонной среде;
- выполнить тестовые сценарии в ERP-системе для новых конфигураций;
- выявить расхождения в работе системы клиента на тестируемых средах от работы на эталонной среде.
В основу тестовой модели для выполнения функционального тестирования легли бизнес-процессы компании. Совместно с экспертами клиента все бизнес-процессы разделили на три блока в соответствии с их приоритетом и важностью. Очерёдность работ по тестированию определялась выставленными приоритетами.
В рамках функционального тестирования эксперты «Точки качества» протестировали 108 бизнес-процессов, таких как: управление продажами, ведение ценовой информации, электронные платежи, закупки, кассовые операции, взаиморасчёты с покупателями и поставщиками, функционал склада. возвраты и т.д. Также эксперты разработали 1500 тест-кейсов и составили более 400 инструкций.
Интеграционное тестирование:
Задачи:
- определить методику проведения интеграционного тестирования в заданных условиях;
- изучить хранимые интеграционные процедуры и разработать тестовые сценарии;
- выполнить интеграционные тестовые сценарии для ERP-системы, работающей на эталонной среде и на новых тестовых конфигурациях.
Предпосылки:
- на тестовых клонах нет возможности обеспечения интеграций ERP-системы со смежными системами;
- интеграции ERP-системы реализованы с помощью хранимых процедур SQL.
Методика тестирования:
Этап 1
- Выбор хранимых процедур для тестирования;
- Анализ кода процедур (входные и выходные параметры, сценарии выполнения процедуры).
Этап 2
- Определение значений входных параметров;
- Привидение тестовых данных под условия выполнения процедуры.
Этап 3
- Выполнение процедуры на эталонной среде;
- Выполнение процедуры на тестовой конфигурации;
- Сравнение полученных результатов и выставление результата тестирования процедуры;
- Проведено 52 процедуры в рамках интеграционного тестирования и запущено 106 тест-кейсов.
Нагрузочное тестирование:
Задачи:
- определить параметры производительности системы;
- определить максимальную производительность системы;
- определить производительность системы для эталонной среды и для тестовых конфигураций;
- сравнить полученные результаты производительности системы;
- найти возможные ошибки, которые могут возникнуть только при одновременной работе большого числа пользователей;
- выявить возможные «узкие», с точки зрения производительности, места в системе;
- найти предельный уровень допустимой нагрузки, проверить максимальную производительность аппаратных средств и работу сценариев при пиковых нагрузках.
В ходе проведения тестов эксперты «Точки качества» выяснили, что в сервере больших данных отсутствует очистка оперативной памяти внутри ОС, поэтому эксперты рекомендовали клиенту добавить команду очищения оперативной памяти ОС, т.к. существуют риски того, что оперативная память на сервере больших данных закончится раньше, чем перезапустится сервер, что приведёт к некорректной работе пользователей.
Для увеличения числа одновременно выполняющихся процедур и сценариев ERP-системы эксперты рекомендовали улучшить мощности CPU серверов больших данных либо же сократить количество вызовов «тяжеловесных» процедур, выявленных в результате запусков.
Также существуют риск, что резко увеличится потребление ресурсов CPU БД, что может критически повлиять на работу пользователей. Чтобы избежать этого, эксперты порекомендовали увеличить число ядер на сервере базы данных, что позволит повысить суммарный лимит использования нитей базы данных. Увеличение тактовой частоты положительно повлияет на показатели утилизации ресурсов системы и времени отклика.
Исследовательское тестирование:
После завершения функционального тестирования, которое было основано на бизнес-сценариях, полученных от экспертов компании клиента, команда тестирования «Точки качества» выполнила работы по дополнительному исследованию функциональности ERP-системы для расширения тестовой модели дополнительными альтернативными и негативными сценариями.
Качество реализации проекта обеспечивалось выполнением набора практик и правил:
- контроль выполнения технического задания в полном объёме;
- обеспечение прозрачности в работе команды тестирования;
- обеспечение качества тестовой документации;
- обеспечение качества тестирования;
- управление проектными рисками через ведение журнала рисков проекта;
- работа с командой тестирования;
- пересмотр и улучшение процессов.
В рамках нагрузочного тестирования эксперты «Точки качества» определили оптимальную по производительности и стабильности конфигурацию серверного оборудования и СУБД для миграции ERP-системы. Разработали и применили более 150 нагрузочных скриптов.
В рамках функционального (ручного) тестирования эксперты «Точки качества»:
- проанализировали 108 бизнес-процессов;
- провели 1356 тест-кейсов;
- составили более 400 инструкций.
Эксперты провели 52 процедуры и 106 тест-кейсов в рамках интеграционного тестирования.
Эксперты «Точки качества» для работы с клиентом разработали уникальную методику нагрузочного и интеграционного тестирования и передали её клиенту. Для этого команда провела полноценную исследовательскую работу.
По итогам сотрудничества эксперты «Точки качества» также передали команде клиента следующие артефакты:
- тестовые сценарии и результаты их выполнения на тестовых конфигурациях в TestRail;
- инструкции по работе в ERP-системы в Confluence;
- подход к созданию и приёмке тест-кейсов;
- инструкции по настройке инструментария для выполнения тестовых сценариев и проведения нагрузочного тестирования;
- результаты всех запусков тестов с основными результатами;
- программу погружения в проект для новых специалистов клиента;
- протокол работ по устранению выявленных ошибок на тестовых окружениях;
- презентацию гипотез нагрузочного тестирования на продуктовой среде;
- план выполнения ограниченного набора функциональных тестов на продукте.
