Нестабильные тесты с обновлением из результатов тестов
Если тип метаданных Флаки, который используется для нестабильных тестов, обновляет свое значение из результатов тестов, вы можете:
- Автоматически выявить флаки-кандидатов с отметкой Флаки?.
- Вручную снять отметку Флаки? для флаки-кандидатов.
- Передать отметку Флаки при импорте результатов тестов.
Выявление флаки-кандидата
Если в рамках одного запуска автотест после перезапусков получает результаты с разными статусами (например, «Неуспешный» → «Успешный»), результату такого теста присваивается отметка Флаки?. Система считает его потенциально нестабильным. Это происходит автоматически и не зависит от способа импорта результатов.
Чтобы у связанного тест-кейса появилась отметка Флаки, укажите признак нестабильности в импортируемых файлах результата теста и перезапустите тест в CI-системе.
Снятие отметки «Флаки?»
Если флаки-кандидат является стабильным тестом, вы можете снять с него отметку Флаки? вручную.
Для этого:
- Перейдите в ваш проект ТестОпс → раздел Запуски.
- Откройте карточку нужного открытого запуска.
- Перейдите на вкладку Результаты тестов.
- Откройте карточку нужного результата теста.
- В верхней части карточки нажмите на отметку Флаки? → Отклонить.
Передача отметки «Флаки» при импорте результатов
Если известно, что автотест нестабилен, вы можете указать признак его нестабильности в импортируемых результатах заранее. ТестОпс считывает признак нестабильности из поля statusDetails.flaky в формате Allure Report 2.x — рекомендуемом формате файлов с результатами тестов.
В файле *-result.json в объекте statusDetails должно быть указано поле "flaky": true. Это можно сделать несколькими способами:
- в коде автотеста — через адаптер Allure для вашего языка. Подробнее см. документацию Allure Report;
- при подготовке результатов теста к импорту — постобработкой уже сформированных файлов, собственным экспортером или другим скриптом.
После импорта результатов теста:
- результат теста в запуске получит отметку Флаки;
- связанный тест-кейс получит отметку Флаки, когда вы закроете запуск.