Работа с нестабильными автотестами с источником обновления метаданных из результата теста
Если для поля flaky настроена политика обновления метаданных из результата теста (from_test_result), вы можете:
- Автоматически установить отметку «Флаки?» для флаки-кандидатов.
- Вручную снять отметку «Флаки?» для флаки-кандидатов.
- Передать отметку «Флаки» при загрузке результатов тестов.
Выявление флаки-кандидата
Если в рамках одного запуска автотест после перезапусков выдает результаты с разными статусами (например, «Неуспешный» → «Успешный»), результат такого теста получает отметку Флаки?. Система считает его потенциально нестабильным. Это происходит автоматически и не зависит от способа загрузки результатов.
Чтобы у связанного тест-кейса появилась отметка Флаки, укажите признак нестабильности в загружаемых файлах результата теста и перезапустите тест в CI-системе.
Снятие отметки «Флаки?»
Если флаки-кандидат является стабильным тестом, вы можете снять с него отметку Флаки? вручную.
Для этого:
- Перейдите в ваш проект ТестОпс.
- Перейдите в раздел Запуски.
- Откройте карточку нужного запуска. Запуск должен быть открытым.
- Перейдите на вкладку Результаты тестов.
- Откройте карточку нужного результата теста.
- В верхней части карточки нажмите на отметку Флаки? → Отклонить.
Передача отметки «Флаки» при загрузке результатов
Если вы заранее знаете о нестабильности автотеста, укажите признак нестабильности в загружаемых результатах. ТестОпс считывает его из поля statusDetails.flaky в формате Allure Report 2.x — рекомендуемом формате файлов с результатами.
В файле *-result.json в объекте statusDetails должно быть поле "flaky": true. Это можно сделать несколькими способами:
- в коде автотеста — через адаптер Allure для вашего языка. Подробнее см. документацию Allure Report;
- при подготовке результатов к загрузке — постобработкой уже сформированных файлов, собственным экспортером или другим скриптом.
После загрузки:
- отметка Флаки появится у результата теста в запуске;
- связанный тест-кейс получит отметку Флаки, когда вы закроете запуск.