Основные виды тестирования ПО

Виды тестирования программного обеспечения

Тестирование программного обеспечения — неотъемлемая часть жизненного цикла разработки. Что такое тестирование программного обеспечения и каким оно бывает? 

Что касается определения, в книге Мещерякова М.С. «Тестирование программного обеспечения» дано два определения этого термина:

1. Тестирование — это процесс обнаружения ошибок в программном обеспечении.
2. Тестирование — это проведение технического исследования для получения информации о качестве тестируемого ИТ-продукта.

К дефектам, которые ищут инженеры по тестированию, относятся ошибки в коде, отсутствие требований и т.д. Тестирование позволяет определить, отличается ли результат взаимодействия с сервисом от ожидаемого или, наоборот, что все функции соответствуют изначально планируемым.

Ключевые преимущества обеспечения качества (QA):

1. понимание текущего качества разрабатываемого ПО и возможность влиять на него;
2. предсказуемость поведения системы благодаря контролю качества и поиску дефектов — все элементы интерфейса и фрагменты кода будут под контролем;
3. предоставление клиентам валидного и корректно работающего продукта, а удовлетворённость клиентов — залог успеха и получения желаемой выручки;
4. оптимизация бюджета на исправление дефектов после релиза.

Более детально о сущности тестирования ПО мы рассказали в этой статье. Ниже представлена более подробная информация о классификации и видах тестирования веб-сайтов, систем, приложений и другого программного обеспечения.

Типы тестирования программного обеспечения

В соответствии с особенностями ИТ-решения QA-эксперты используют различные виды и типы тестирования.

1. По глубине покрытия

Дымовое тестирование (Smoke Testing)

Тестирование smoke проводится по принципу выборки из общего числа запланированных тестовых сценариев, покрывающей основную функциональность компонента или системы. Оно проводится, чтобы удостовериться, что базовые функции программы в целом работают корректно, без углубления в детали. Ежедневная сборка и тест «на дым» являются передовыми практическими методами.

Позитивное тестирование (Minimal acceptance test)

Вид теста, направленный на подтверждение того, что функции и модули приложения правильно работают с корректными данными. Для крупных и сложных программ используется ограниченный набор сценариев и функций.

Полное тестирование / позитивное и негативное тестирование (Acceptance test)

Вид теста, направленный на подтверждение того, что приложение может использоваться по назначению при любых условиях. Бизнес-логика, функциональность, проверка пользовательского интерфейса и производительности, тестирование удобства пользования, тестирование локализации — то есть полная проверка ИТ-решения перед релизом. Эти тесты представляют полный набор услуг и могут проводиться в зависимости от целей конечных пользователей продукта.

2. По ширине покрытия

Регрессионное тестирование (Regression testing)

Это тестирование уже проверенного решения, проводящееся после модификации для уверенности в том, что процесс модификации не внёс или не активизировал проблемы в областях, не подвергавшихся изменениям. Проводится после изменений в коде программного продукта или его окружении.

Валидация дефектов (Defect validation)

Вид теста, направленный на проверку правильности принятого разработчиком решения о дефекте.

Тестирование новых функций (New features testing)

Один из видов тестов, направленный на проверку полного и корректного поведения новых функций без негативных последствий для продукта. Это комплексное тестирование функциональности, на которую могло повлиять нововведение.

3. По знанию кода

Белый ящик (White-box testing)

Тестирование, основанное на анализе внутренней структуры компонента или системы. Тестировщику полностью доступен исходный код.

Чёрный ящик (Black-box testing)

Тестирование — функциональное или нефункциональное — без знания внутренней структуры компонента или системы.

Серый ящик

У специалистов есть доступ к базам данных или фрагментам кода.

4. По месту и времени проведения

Альфа-тестирование (Alpha testing)

Моделируемое или действительное эксплуатационное тестирование, проводимое потенциальными пользователями или независимой командой обеспечения качества на стороне компании-разработчика, но вне команды разработки. 

Бета-тестирование (Beta testing)

Тестирование, проводимое клиентами на внешней стороне, никак не связанной с компанией-разработчиком. Позволяет определить, действительно ли ИТ-решение удовлетворяет требованиям заказчика и вписывается в бизнес-процессы. Бета-тестирование проводится в качестве внешнего приёмочного тестирования готового ПО.

Приёмочное тестирование (User acceptance testing)

Формальное тестирование потребностей, требований и бизнес-процессов. Проводится, чтобы определить, соответствует ли ПО критериям приёмки, и для того чтобы дать возможность пользователям, заказчикам или заинтересованным сторонам определить, выпускать решение или нет.

5. По подготовленности ПО

Интуитивное тестирование (Ad hoc testing)

Тестирование, выполняемое неформально, без формальной подготовки тестов, формальных методов проектирования тестов, определения ожидаемых результатов и руководства по выполнению тестирования.

Исследовательское тестирование (Exploratory testing)

Неформальный метод создания тестов, при котором QA-инженер контролирует проектирование тестов в то время, как эти тесты выполняются, и использует полученную во время тестирования информацию для проектирования новых и улучшенных тестов.

Проверка технической документации и функциональных требований (Documentation testing)

Тестирование качества документации, например, руководства пользователя или руководства по установке ПО.

6. По изолированности компонентов

Модульное тестирование / унитарное тестирование (Module testing)

Тестирование отдельных компонентов ПО. Тесты позволяют проверить на корректность отдельные модули исходного кода программы. Тесты позволяют быстро оценить, не привело ли очередное изменение кода к ошибкам. Цель модульного тестирования — изолировать отдельные части программы и показать, что по отдельности эти части работоспособны.

Интеграционное тестирование (Integration testing)

Проводится для выявления дефектов в интерфейсах и во взаимодействии между интегрированными элементами, различными модулями, уровнями, базами данных или системами.

Системное тестирование / сквозное тестирование (System testing)

Процесс тестирования ИТ-решения в целом для проверки того, что оно соответствует бизнес-требованиям. Сквозные тесты выполняются на полной, интегрированной системе, с целью проверки соответствия системы исходным требованиям.

Тест позволяет убедиться, что функциональность работает корректно. Сквозные тесты воспроизводят поведение пользователя при работе с ИТ-решением и проверяют, что различные пользовательские сценарии работают так, как ожидается.

7. Виды тестирования по степени автоматизации

Автоматизированное тестирование (Test automation)

Для ускорения тестирования на проекте, особенно если говорить о регулярном запуске повторяющихся тестов, процесс можно частично автоматизировать с помощью автотестов.

Тестирование автоматизацииподразумевает, что выбранные функции и шаги теста, такие как запуск, инициализация, выполнение, анализ и выдача результата, реализуются без участия человека с помощью инструментов для автоматизированного тестирования.

Ручное тестирование (Manual testing)

Тип тестирования ИТ-продуктов, при котором тесты выполняются инженерами вручную, без привлечения каких-либо инструментов автоматизации.

8. По объекту тестирования

Функциональное тестирование (Functional testing)

Глубокое тестирование, основанное на анализе спецификации функциональности компонента или системы. Оценка программных приложений через функциональные тесты производится на основе сопоставления ожидаемых и полученных результатов (указанных в функциональной документации). Важным условием является ввод корректных и некорректных тестовых данных.

Нефункциональное тестирование (Non-Functional Testing)

Тестирование совместимости (Compatibility testing)

Для определения возможности взаимодействия программного продукта с другим ПО.

Кроссбраузерное тестирование (Cross browser testing)

Для определения работоспособности ПО на различных браузерах или версиях браузеров.

Кроссплатформенное тестирование (Cross platform testing)

Тестирование на совместимость ПО с различными операционными системами или версиями операционных систем.

Тестирование требований (Requirements testing)

Проверка требований на соответствиеным характеристикам качества. Тестирование требований позволяет выявить несоответствие в ожиданиях и интерпретациях разрабатываемого продукта на ранних этапах разработки.


Критерии качества требований:

• корректность, недвусмысленность, полнота и непротиворечивость;
• упорядоченность по важности и стабильности;
• возможность проверки (тестируемость);
• возможность модификации (изменяемость);
• трассируемость (отслеживаемость).

Тестирование прототипа (Prototype testing)

Способ определения структурных, логических ошибок и проблем проектирования на ранней стадии развития продукта до начала фактической разработки.

Тестирование интерфейса (UI testing)

Тестирование, выполняемое путём взаимодействия с системой через графический интерфейс пользователей. Эти тесты предполагают проверку соответствия ПО требованиям к графическому интерфейсу.

Тестирование юзабилити (Usability testing)

Тестирование для определения степени понятности, лёгкости в изучении и использовании ПО для пользователя. Тестирование удобства пользования определяет, насколько комфортна работа пользователей с приложением или сайтом в контексте понимания процесса работы, простоты навигации и структуры.

Тестирование доступности (Accessibility testing)

Определяет степень лёгкости, с которой пользователи с ограниченными способностями могут использовать систему или её компоненты.

Тестирование безопасности (Security testing)

Тестирование оценки степени защиты данных пользователей ПО. Тестирование проверяет фактическую реакцию защитных механизмов, встроенных в систему, на проникновение.

Тестирование установки (Installability testing)

В ходе тестирования установки проверяется правильность процесса установки ПО и эффект, оказываемый установкой на операционную систему пользователя. Тестирование механизма лицензирования помогает определить эффективность системы защиты программы.

Тестирование локализации (Localization testing)

Проводится, чтобы проверить качество перевода продукта с одного языка на другой. Также проверяется совместимость приложения со стандартами различных регионов и правильность оформления документации и вспомогательных файлов.

Тестирование интернационализации (Globalization testing)

Цель — найти потенциальные проблемы в решении, которые могут повлиять на процесс интернационализации и убедиться, что существующий код может обеспечить поддержку других элементов без ущерба функциональности или графического интерфейса. 

Тестирование производительности (Performance testing)

Необходимо. чтобы определить надёжность, стабильность, производительность приложений, сайтов и другого ПО. Делится на:

• нагрузочное тестирование, проводимое для оценки поведения компонента ПО при возрастающей нагрузке, например, количества параллельных пользователей или операций, а также определения, какую нагрузку может выдержать система.
• стресс-тестирование, оценивающее ПО на граничных значениях рабочих нагрузок или за их пределами, или же в состоянии ограниченных ресурсов.
• объёмное тестирование, при котором система испытывается на больших объёмах данных.
• тестирование стабильности для проверки стабильности работы системы под нагрузкой в течение длительного времени.

Конфигурационное тестирование

Позволяет определить, соответствует ли ПО требованиям конфигурируемости. Это процесс тестирования системы в каждой конфигурации поддерживаемого ПО. Под различными конфигурациями понимаются версии операционных систем, браузеров, драйверов, объёмов памяти, типов жёстких дисков, процессоров и т.д.

Динамическое тестирование 

Такие тесты проводят для анализа динамического поведения кода. Задача динамического тестирования — проверка поведения ПО с динамическими переменными или переменными, которые не являются постоянными, и поиск западающих мест решения. Для проверки динамического поведения код должен быть уже.написан, скомпилирован и запущен.

Завершающие мысли

В идеале тестирование должно проводиться на всех этапах разработки, начиная с тестирования документации и заканчивая приёмочными тестами. Стратегию, типы и основные виды тестирования QA-специалисты подбирают под каждый проект индивидуально.

Несмотря на то, что в ходе тестирования важно убедиться, что конечные пользователи могут использовать ПО (войти в личный кабинет, сохранить данные, отправить форму и т.д.), не менее важно удостовериться, что приложение или сайт не сломается при получении неверных данных или при выполнении непредсказуемых действий. 

Используя разные виды тестирования, QA-инженеры помогут предугадать, что произойдёт, если пользователь параллельно будет использовать VPN, попытается скачать неполную форму, попытается исправить ошибку в своих данных или воспользуется неподходящим API. Эксперты также проверят, есть ли у кого-то возможность внести изменения в пользовательскую информацию или получить доступ к системе, на который он не имеет права. Хороший тестировщик должен пытаться «сломать» ваше ПО и достичь предела стабильности. 

Зачастую в работе тестировщики используют как автоматизированное, так и ручное тестирование для обеспечения наилучшего качества конечного ИТ-решения. Все необходимые детали о тестировании и об этапах интеграции QA в процессы компании вы можете узнать у наших специалистов на бесплатной консультации.
 
Помимо типов и уровней выделяют также различные модели тестирования, такие как SDLC (жизненный цикл ПО), Agile тестирование (гибкая методология), спиральная модель, непрерывная интеграция и непрерывная поставка CI/CD и другие. Но об этом мы расскажем в следующих статьях.

Вся необходимая информация о тестировании функциональных возможностей ваших продуктов представлена в разделе «услуги».