Работа с нестабильными автотестами с источником обновления метаданных из результатов тестов
Если для поля flaky настроена политика обновления метаданных из результата теста (from_test_result), вы можете:
- Автоматически выявить флаки-кандидатов с отметкой Флаки?.
- Вручную снять отметку Флаки? для флаки-кандидатов.
- Передать отметку Флаки при загрузке результатов тестов.
Выявление флаки-кандидата
Если в рамках одного запуска автотест после перезапусков получает результаты с разными статусами (например, «Неуспешный» → «Успешный»), результату такого теста присваивается отметка Флаки?. Система считает его потенциально нестабильным. Это происходит автоматически и не зависит от способа загрузки результатов.
Чтобы у связанного тест-кейса появилась отметка Флаки, укажите признак нестабильности в загружаемых файлах результата теста и перезапустите тест в CI-системе.
Снятие отметки «Флаки?»
Если флаки-кандидат является стабильным тестом, вы можете снять с него отметку Флаки? вручную.
Для этого:
- Перейдите в ваш проект ТестОпс → раздел Запуски.
- Откройте карточку нужного открытого запуска.
- Перейдите на вкладку Результаты тестов.
- Откройте карточку нужного результата теста.
- В верхней части карточки нажмите на отметку Флаки? → Отклонить.
Передача отметки «Флаки» при загрузке результатов
Если известно, что автотест нестабилен, вы можете указать признак его нестабильности в загружаемых результатах заранее. ТестОпс считывает признак нестабильности из поля statusDetails.flaky в формате Allure Report 2.x — рекомендуемом формате файлов с результатами тестов.
В файле *-result.json в объекте statusDetails должно быть указано поле "flaky": true. Это можно сделать несколькими способами:
- в коде автотеста — через адаптер Allure для вашего языка. Подробнее см. документацию Allure Report;
- при подготовке результатов теста к загрузке — постобработкой уже сформированных файлов, собственным экспортером или другим скриптом.
После загрузки результатов теста:
- результат теста в запуске получит отметку Флаки;
- связанный тест-кейс получит отметку Флаки, когда вы закроете запуск.