Как инженеры компании «Точка качества» проводили приёмо-сдаточные испытания ПО: Часть 1. Теоретическая

Вот уже более двух лет команда компании «Точка качества» работает на проекте по созданию платежной системы для одного крупного банка. Поначалу задачи нашей команды сводились только к тестированию системы, однако через некоторое время заказчик поручил нам подготовку и проведение приёмо-сдаточных испытаний.

Задача эта нетипичная для тестировщиков. Поэтому мы решили поделиться своим опытом и рассказать, как её грамотно выполнить, оправдав доверие заказчика.

Что такое приёмо-сдаточные испытания программного обеспечения (пси)?

Прежде чем выпускать продукт на рынок, заказчик должен убедиться в возможности использования разработанного решения, в его безопасности, надёжности, корректном функционировании и проверить другие характеристики, описанные в требованиях к продукту, если говорить простым языком, провести полное тестирование продукта.

ПСИ тестирование особенно актуальны для проектов, на которых выпуск некачественного продукта может привести к значительным финансовым потерям (к слову, наш проект именно к таким и относится).

Итак, цели проведения ПСИ:

• Подтвердить соответствие продукта заявленным требованиям.
• Выявить ошибки, допущенные при разработке.
• Подтвердить возможность внедрения в опытную и промышленную эксплуатацию.

Избежать хаоса, когда ПСИ в разработке и в дальнейшем его проведении, развеять сомнения в методах убеждения и их эффективности помогают различные нормативно-правовые документы, которые стандартизируют процессы разработки и тестирования.

Один из таких документов, обязательный для любых приёмо-сдаточных испытаний, – это «Программа и методика испытаний».

Документ «программа и методика испытаний»: что нужно знать тестировщику

Написанием и форматированием данного документа обычно занимаются специально обученные люди, например, технические писатели.

Однако, помимо основ тестирования программного обеспечения, знать из чего состоит документ, тестировщику не помешает. Кроме того, подготовка одного из разделов может быть поручена именно тестировщикам.

Что такое ПМИ в тестировании? Обратимся к официальной документации. Согласно межгосударственному стандарту ГОСТ 19.301-79, документ «Программа и методика испытаний» должен иметь следующую структуру:

• Раздел «Объект испытаний» – название продукта, область его применения.
• Раздел «Цель испытаний» – цели ПСИ, которые мы обозначили выше.
• Раздел «Требования к программе» – требования, подлежащие проверке во время испытаний и перечисленные в «Техническом задании» (ТЗ) на программу. Обратите внимание, требования, которые указываются в данном разделе, должны быть продемонстрированы во время испытаний (или хотя бы запланированы). Если в продукте реализовано 100% требований, но продемонстрировать по тем или иным причинам вы можете только 70%, значит, в этот раздел включаются только 70% требований, которые будут продемонстрированы заказчику. Оставшиеся 30% заказчик будет считать нереализованными до тех пор, пока не убедится в обратном.
• Раздел «Требования к программной документации» – состав программной документации, предъявляемой на испытании, а также специальные требования к документации, если они заданы в ТЗ.
• Раздел «Средства и порядок испытаний» – перечень технических и программных средств, используемых во время испытаний, а также порядок проведения испытаний. Рекомендуем максимально подробно описать все средства, которые вы планируете использовать для демонстрации. Базы данных, программы для чтения содержимого очередей, консоли, логи, автотесты – всё это должно быть зафиксировано в данном разделе, иначе засчитано и допущено к демонстрации не будет.
• Раздел «Методы испытаний» – указывается, как именно проводится демонстрация, какое ПМИ тестирование используется для проверки реализации того или иного требования и ожидаемый результат по каждой проверке.

Какой из разделов программы и методики испытаний программного обеспечения под силу подготовить функциональному тестировщику? Конечно же, «Методы испытаний». Об этом поговорим позже, а пока ещё немного теории.

Критерии успешности приёмо-сдаточных испытаний

Как правило, успешность ПСИ определяется на этапе заключения контракта. Одним из таких критериев может быть процент успешно пройденных во время демонстрации проверок. Например, если на проверку выносятся 100 тест-кейсов и критерий pass-rate составляет 80%, то 80 тест-кейсов должно быть успешно пройдено, иначе считается, что продукт приёмку не прошел, а значит, не может быть допущен к опытной и промышленной эксплуатации.

На практике же успешность приёмо-сдаточных испытаний чаще определяется не одним критерием, а совокупностью нескольких. Например, учитывается процент реализованных требований от общего числа и ограничение по количеству дефектов того или иного приоритета. Оперируя данными по этим критериям, принимается решение об успешности ПСИ.

На этом необходимая теория заканчивается. В следующей части расскажем, как приёмо-сдаточные испытания проводила команда «Точка качества» и какие трудности ей пришлось преодолеть.