Оценка длительности тестирования
Оценка длительности тестирования помогает сравнивать ориентировочное время выполнения каждого тест-кейса с фактически затраченным.
Это позволяет:
- планировать нагрузку команды — вы можете точнее оценивать общее время запуска и более равномерно распределять задачи между участниками команды;
- анализировать эффективность тестирования — вы можете сравнивать ориентировочное и фактическое время выполнения тест-кейсов и выявлять аномалии в процессе тестирования или работе продукта;
- приоритизировать автоматизацию тестирования — показатели времени помогут определить, какие тест-кейсы наиболее целесообразно автоматизировать.
Ожидаемая длительность ручных тест-кейсов
Добавление ожидаемой длительности вручную
Чтобы добавить значение ожидаемой длительности вручную:
- Перейдите в раздел Тест-кейсы.
- Откройте карточку нужного тест-кейса.
- В правой части экрана найдите секцию Ожидаемая длительность и нажмите иконку карандаша.
- Введите ориентировочное время выполнения тест-кейса в формате чч:мм:сс.
- Нажмите Сохранить.
Вы можете отредактировать значение ожидаемой длительности аналогичным способом.
Когда вы пройдете тест-кейс, в карточке его результата в секции Длительность будут указаны:
- фактическая длительность тест-кейса;
- процентная разница между ожидаемой и фактической длительностью.
Автоматическое добавление ожидаемой длительности
ТестОпс может автоматически рассчитать и указать ожидаемое время выполнения сразу во всех ручных тест-кейсах проекта. Для этого система проанализирует данные о прохождении тестов и установит медианное значение.
Чтобы добавить значение ожидаемой длительности автоматически:
Перейдите на страницу Swagger в ТестОпс. Подробнее см. API ТестОпс.
Найдите API-метод
test-case-duration-update-controller.Нажмите Try it out.
В поле projectId введите ID проекта.
В поле overwrite укажите:
false— если нужно добавить значение только в те ручные тест-кейсы, в которых ожидаемая длительность не указана;true— если нужно переписать значение во всех ручных тест-кейсах проекта.
Нажмите Execute.
API-запрос будет выполнен асинхронно в фоновом режиме.
Удаление ожидаемой длительности
Чтобы удалить значение ожидаемой длительности:
- Перейдите в раздел Тест-кейсы.
- Откройте карточку нужного тест-кейса.
- В правой части экрана найдите секцию Ожидаемая длительность и нажмите иконку карандаша.
- Введите шесть нулей вместо текущего значения.
- Нажмите Сохранить.
Ожидаемая длительность автоматизированных тест-кейсов
В автоматизированных тест-кейсах нельзя отредактировать секцию Ожидаемая длительность. Значение рассчитывается автоматически для каждого теста из результата его последнего успешного прохождения.
Чтобы посмотреть фактическое время, затраченное на прохождение автоматизированного тест-кейса:
- Откройте нужный запуск.
- Перейдите на вкладку Результаты тестов.
- Откройте нужную карточку тест-кейса и проверьте секцию Длительность.
Фактическая длительность ручных тест-кейсов
Когда вы запускаете ручной тест и начинаете его проходить, в карточке результата этого теста в правом нижнем углу запускается таймер. Он приостанавливается, когда вы переходите к другому тесту, и возобновляется при повторных открытиях карточки.
Примечание
Подробнее о том, как запускать ручные тесты, в инструкции Запуск тест-кейса.
Когда вы выполняете действия из сценария и устанавливаете статус шага, справа от шага автоматически появляется время, которое потребовалось на прохождение.
Вы можете отредактировать фактическое время прохождения тест-кейса, пока не завершите работу, и указать итоговый результат. Для этого нажмите на таймер и введите нужное значение.
Важно
Фактическая длительность выполнения тест-кейса не может быть меньше суммарного времени, затраченного на выполнение всех шагов сценария.
Выявление кандидатов на автоматизацию
В виджете Тесты с низкой производительностью вы можете оценивать ручные тест-кейсы по метрике Превышение ожидаемой длительности. Она помогает определять ручные тест-кейсы, выполнение которых занимает значительно больше времени, чем было запланировано. Подробнее о настройке дашбордов — в инструкции Дашборды.
Важно
Если у вас включено кэширование больших запросов, данные в виджете обновляются с задержкой. В облачной версии ТестОпс эта функция включена по умолчанию.