Уровни прогресса и статусы результатов тестов
В ТестОпс для каждого из тестов в запуске отображается уровень прогресса этого теста (если тест еще не был завершен) или статус его результата (если тест был завершен).
Уровни прогресса и статусы отражаются в различных статистиках и графиках в интерфейсе ТестОпс и могут использоваться для поиска и фильтрации результатов тестов по типам метаданных Прогресс и Статус.
Уровни прогресса тестов
Каждый тест в запуске, как правило, проходит три этапа выполнения:
- «В очереди» — начальный уровень, на котором выполнение теста еще не начиналось. Все тесты в новых запусках и перезапущенные тесты находятся на этом уровне.
- «В процессе» — уровень прогресса теста, по которому начались реальные действия: проставлен статус одного из шагов или добавлено вложение к шагу.
- «Завершенный» — финальный уровень прогресса, который получает тест при его завершении и получении результата с определенным статусом.
Статусы результатов тестов
После того, как тест завершается (переходит на уровень прогресса «Завершенный»), его результат получает статус, отражающий успешность выполнения теста.
При выполнении теста вручную инженер по тестированию указывает статус результата теста через интерфейс ТестОпс. Для результатов автоматизированных тестов статус загружается из файла с результатами теста (см. Test statuses в документации Allure Report).
Результаты тестов в запусках могут иметь статусы:
- «Успешный» — тест завершился успешно.
- «Неуспешный» — тест столкнулся с неожиданным поведением в тестируемой системе. Это означает, что сам тест кажется действительным (не сломан), но его выполнение завершилось ложным утверждением.
- «Пропущенный» — тест был включен в тест-план, но не был выполнен по какой-то причине.
- «Сломанный» — тест не прошел из-за дефекта теста. Этот статус отличается от статуса «Неуспешный» тем, что тест не смог проверить поведение продукта так, как было задумано, поэтому сбой может или не может указывать на фактический дефект продукта.
- «Неизвестный» — статус теста не был явно указан. В ручном тесте это означает, что запуск был закрыт, пока тест находился на уровне прогресса «В очереди» или «В процессе». В автоматизированном тесте это, скорее всего, связано с ошибкой в адаптере Allure, который использовался во время запуска.
В сценариях ручных тестов можно установить индивидуальные статусы для каждого шага и подшага. Статусы шагов не влияют напрямую на статусы результатов тестов и могут использоваться для различных целей.
Просмотр уровней прогресса тестов и статусов их результатов
Чтобы просмотреть уровни прогресса всех незавершенных тестов и статусы результатов завершенных тестов в запуске, перейдите в раздел Запуски — справа от нужного запуска будет указано количество входящих в него результатов тестов с группировкой по уровню прогресса и статусу.
Чтобы просмотреть уровни прогресса тестов и статусы их результатов в отдельной папке или категории из группировки по кастомным полям:
Откройте карточку нужного запуска.
Перейдите на вкладку Результаты тестов.
В верхнем левом углу нажмите на название текущего режима отображения (например, Папки, Плоский список, название группировки по кастомным полям).
В выпадающем списке выберите нужный режим:
- в секции Группировка по кастомным полям — одну из настроенных группировок по кастомным полям;
- Папки — для просмотра результатов тестов в структуре папок.
Наведите курсор на цветную панель справа от папки или категории — появится всплывающая подсказка с распределением результатов тестов по уровню прогресса и статусу.