Работа с нестабильными автотестами с источником обновления метаданных из тест-кейсов
Если для поля flaky настроена политика обновления метаданных из тест-кейса (from_test_case), вы можете отметить нестабильный тест-кейс тремя способами:
- Вручную установить отметку Флаки в тест-кейсе.
- Вручную установить отметку Флаки в результате теста.
- Подтвердить нестабильность флаки-кандидата с отметкой Флаки?.
Установка отметки «Флаки» в тест-кейсе вручную
Если известно, что автотест нестабилен, вы можете установить отметку Флаки для его тест-кейса заранее.
Для этого:
- Перейдите в раздел Тест-кейсы.
- Откройте карточку нужного тест-кейса.
- В правом верхнем углу нажмите
⋯→ Отметить как флаки. - При необходимости включите опцию Поместить в карантин, чтобы исключить тест-кейс из статистики запусков.
- Нажмите Отметить как флаки.
Отметка Флаки появится в верхней части карточки тест-кейса и напротив тест-кейса в списке всех тест-кейсов.
Аналогичным способом можно снять отметку Флаки с тест-кейса. Все изменения записываются в журнал изменений.
Установка отметки «Флаки» в результате теста вручную
Если вы анализируете открытый запуск и наблюдаете нестабильное поведение автотеста, вы можете установить отметку Флаки для его результата:
- Перейдите в ваш проект ТестОпс → раздел Запуски.
- Откройте карточку нужного открытого запуска.
- Перейдите на вкладку Результаты тестов.
- Откройте карточку нужного результата теста.
- В нижней части карточки нажмите Отметить как флаки.
- При необходимости включите опцию Поместить в карантин, чтобы исключить результат теста из статистики запуска.
- Нажмите Отметить как флаки.
В результате теста и связанном тест-кейсе появится отметка Флаки.
Аналогичными способами можно снять отметку Флаки с результата теста.
Подтверждение флаки-кандидата вручную
Если в рамках одного запуска автотест после перезапусков получает результаты с разными статусами (например, «Неуспешный» → «Успешный»), результату такого теста присваивается отметка Флаки?. Система считает его потенциально нестабильным.
Чтобы подтвердить, что флаки-кандидат действительно является нестабильным тестом:
- Перейдите в ваш проект ТестОпс → раздел Запуски.
- Откройте карточку нужного открытого запуска.
- Перейдите на вкладку Результаты тестов.
- Откройте карточку нужного результата теста.
- Нажмите на отметку Флаки? → Подтвердить флаки.
Отметка Флаки? в результате теста изменится на Флаки, связанный тест-кейс также получит отметку Флаки.