Нестабильные тесты
Нестабильный тест — это тест, который при одинаковых условиях может выдавать как успешный, так и неуспешный результат. Такие ложные срабатывания отнимают время на диагностику проблемы.
В ТестОпс реализована функциональная возможность для определения и работы с нестабильными автотестами, которая позволяет приоритизировать задачи и сокращать время на разбор ложных падений. Чтобы она была доступна в проекте, укажите источник обновления метаданных для поля flaky.
Отметки «Флаки» и «Флаки?»
Для нестабильных автотестов в интерфейсе ТестОпс используются две отметки:
- Флаки — подтвержденная нестабильность. Отображается у результата теста и связанного тест-кейса. Способ установки этой отметки зависит от источника обновления метаданных для поля flaky.
- Флаки? — потенциальная нестабильность. Отображается у результата теста, если после перезапусков в рамках одного запуска у результата были разные статусы (например, «Успешный» и «Неуспешный» или «Сломанный»).
Предварительная настройка проекта
Примечание
Чтобы настроить источник обновления метаданных, необходима проектная роль «Владелец проекта» или глобальная роль «Администратор».
Чтобы настроить источник обновления метаданных для поля flaky:
Перейдите в ваш проект ТестОпс.
Перейдите в раздел Настройки → Источник обновления автотестов.
Нажмите + Создать.
Заполните поля:
- Поле — нажмите на выпадающий список и выберите flaky;
- Политика — нажмите на выпадающий список и выберите источник обновления метаданных from_test_case или from_test_result.
Нажмите Отправить.
В зависимости от выбранной политики для поля flaky процесс работы с нестабильными автотестами отличается:
- Работа с нестабильными автотестами с источником обновления метаданных из тест-кейсов — при политике from_test_case;
- Работа с нестабильными автотестами с источником обновления метаданных из результатов тестов — при политике from_test_result.
Просмотр нестабильных автотестов
Просмотр результатов нестабильных тестов в запуске
Результаты нестабильных тестов можно искать и фильтровать по типам метаданных Флаки и Флаки-кандидат, в том числе с помощью AQL-запросов (например, flaky is true или flakyCandidate is true). Подробнее см. Результаты тестов → Сортировка и фильтрация результатов тестов.
Также в запуске, в виджете «Флаки-тесты» доступны вкладки Флаки и Флаки-кандидаты со всеми результатами нестабильных тестов с соответствующими отметками.
Чтобы просмотреть все результаты нестабильных тестов в виджете «Флаки-тесты»:
- Перейдите в ваш проект ТестОпс.
- Перейдите в раздел Запуски.
- Откройте нужный запуск.
- На вкладке Обзор найдите виджет Флаки-тесты.
Просмотр нестабильных тест-кейсов
Нестабильные тест-кейсы в проекте можно искать и фильтровать по типу метаданных Флаки, в том числе с помощью AQL-запросов (например, flaky is true). Подробнее см. Сортировка, поиск и фильтрация тест-кейсов → Фильтрация тест-кейсов по дополнительным метаданным.