Нестабильные тесты

Нестабильный тест — это автотест, который при одинаковых условиях может получать как успешный, так и неуспешный результат. Такие ложные срабатывания отнимают время на диагностику проблемы.

ТестОпс помогает определять и работать с нестабильными автотестами для приоритизации задач и сокращения времени на разбор ложных падений тестов.

Предварительная настройка проекта

Чтобы включить возможность работы с нестабильными автотестами в проекте ТестОпс, в настройках этого проекта укажите источник обновления для типа метаданных Флаки — Тест-кейс или Результат теста.

Подробнее см. Источники обновления тест-кейсов → Настройка источника обновления тест-кейсов.

Отметки «Флаки» и «Флаки?»

Для нестабильных автотестов в интерфейсе ТестОпс используются две отметки:

• Флаки — подтвержденная нестабильность. Отображается у результата теста и связанного тест-кейса, может быть установлена вручную или автоматически.
• Флаки? — потенциальная нестабильность. Отображается у результата теста, если после перезапусков теста в рамках одного запуска у результата были разные статусы (например, «Успешный» и «Неуспешный» или «Сломанный»).

Установка отметок и выявление флаки-кандидатов

В зависимости от выбранного источника обновления для типа метаданных Флаки процесс работы с нестабильными автотестами отличается:

• см. Нестабильные тесты с обновлением из тест-кейсов — при источнике Тест-кейс;
• см. Нестабильные тесты с обновлением из результатов тестов — при источнике Результат теста.

Просмотр нестабильных тестов

Просмотр результатов нестабильных тестов в запуске

Результаты нестабильных тестов можно искать и фильтровать по типам метаданных Флаки и Флаки-кандидат, в том числе с помощью AQL-запросов (например, flaky is true или flakyCandidate is true). Подробнее см. Сортировка, поиск и фильтрация результатов тестов.

Также в запуске в виджете «Флаки-тесты» доступны вкладки Флаки и Флаки-кандидаты со всеми результатами нестабильных тестов с соответствующими отметками.

Просмотр нестабильных тест-кейсов

Нестабильные тест-кейсы в проекте можно искать и фильтровать по типу метаданных Флаки, в том числе с помощью AQL-запросов (например, flaky is true). Подробнее см. Сортировка, поиск и фильтрация тест-кейсов → Фильтрация тест-кейсов по дополнительным метаданным.