Работа с нестабильными автотестами с источником обновления метаданных из тест-кейса
Если для поля flaky настроена политика обновления метаданных из тест-кейса (from_test_case), вы можете отметить нестабильный тест-кейс тремя способами:
- Вручную установить отметку «Флаки» в тест-кейсе.
- Вручную установить отметку «Флаки» в результате теста.
- Подтвердить нестабильность флаки-кандидата с отметкой Флаки?.
Установка отметки «Флаки» в тест-кейсе вручную
Если вы знаете о нестабильности теста, то можете сразу установить отметку Флаки для тест-кейса.
Для этого:
- Перейдите в раздел Тест-кейсы.
- Откройте карточку нужного автотеста.
- В правом верхнем углу нажмите
⋯→ Отметить как флаки. - При необходимости включите опцию Карантин, чтобы исключить тест-кейс из статистики запусков.
- Нажмите Отметить как флаки.
Отметка Флаки появится в верхней части карточки тест-кейса и напротив тест-кейса в списке всех тест-кейсов.
Аналогичным способом можно снять отметку Флаки с тест-кейса. Все изменения записываются в журнал изменений.
Установка отметки «Флаки» в результате теста вручную
Если вы анализируете открытый запуск и наблюдаете нестабильное поведение автотеста, вы можете сразу установить отметку Флаки для его результата:
- Перейдите в ваш проект ТестОпс.
- Перейдите в раздел Запуски.
- Откройте карточку нужного запуска. Запуск должен быть открытым.
- Перейдите на вкладку Результаты тестов.
- Откройте карточку нужного результата теста.
- В нижней части карточки нажмите кнопку Отметить как флаки.
- При необходимости включите опцию Карантин.
- Нажмите кнопку Отметить как флаки.
В результате теста и связанном тест-кейсе появится отметка Флаки.
Аналогичными способами можно снять отметку Флаки с результата теста.
Подтверждение флаки-кандидата вручную
Если в рамках одного запуска автотест после перезапусков выдает результаты с разными статусами (например, «Неуспешный» → «Успешный»), результат такого теста получает отметку Флаки?. Система считает его потенциально нестабильным.
Чтобы подтвердить, что флаки-кандидат действительно является нестабильным тестом:
- Перейдите в ваш проект ТестОпс.
- Перейдите в раздел Запуски.
- Откройте карточку нужного запуска. Запуск должен быть открытым.
- Перейдите на вкладку Результаты тестов.
- Откройте карточку нужного результата теста.
- Нажмите на отметку Флаки? → Подтвердить флаки.
Отметка Флаки? в результате теста изменится на Флаки, связанный тест-кейс также получит отметку Флаки.