Нестабильные тесты с обновлением из тест-кейсов

Если тип метаданных Флаки, который используется для нестабильных тестов, обновляет свое значение из тест-кейсов, вы можете:

• Установить вручную отметку Флаки в тест-кейсе.
• Установить вручную отметку Флаки в результате теста.
• Подтвердить нестабильность флаки-кандидата с отметкой Флаки? вручную или перезапусками.
• Снять вручную отметку Флаки у тест-кейса или результата теста.

Установка отметки «Флаки» в тест-кейсе вручную

Если известно, что автотест нестабилен, вы можете установить отметку Флаки для его тест-кейса заранее.

Для этого:

1. Перейдите в ваш проект ТестОпс → раздел Тест-кейсы.
2. Откройте карточку нужного тест-кейса.
3. В правом верхнем углу нажмите ⋯ → Отметить как флаки.
4. При необходимости включите опцию Поместить в карантин, чтобы исключить тест-кейс из статистики запусков.
5. Нажмите Отметить как флаки.

Отметка Флаки появится в верхней части карточки тест-кейса и напротив тест-кейса в списке всех тест-кейсов.

Чтобы установить отметку Флаки сразу для нескольких автоматизированных тест-кейсов, используйте панель массовых операций и выберите ⋯ → Флаки → Отметить как флаки.

Установка отметки «Флаки» в результате теста вручную

Если вы анализируете открытый запуск и наблюдаете нестабильное поведение автотеста, вы можете установить отметку Флаки для его результата:

1. Перейдите в ваш проект ТестОпс → раздел Запуски.
2. Откройте карточку нужного открытого запуска.
3. Перейдите на вкладку Результаты тестов.
4. Откройте карточку нужного результата теста.
5. В нижней части карточки нажмите Отметить как флаки.
6. При необходимости включите опцию Поместить в карантин, чтобы исключить результат теста из статистики запуска.
7. Нажмите Отметить как флаки.

В результате теста и связанном тест-кейсе появится отметка Флаки.

Чтобы установить отметку Флаки сразу для нескольких результатов тестов, используйте панель массовых операций и выберите ⋯ → Флаки → Отметить как флаки.

Подтверждение флаки-кандидата

Если в рамках одного запуска автотест после перезапусков получает результаты с разными статусами (например, «Неуспешный» → «Успешный»), результату такого теста присваивается отметка Флаки?. Система считает его потенциально нестабильным.

Вы можете подтвердить, что флаки-кандидат действительно является нестабильным тестом, вручную или с помощью перезапусков в CI-системе.

Подтверждение флаки-кандидата вручную

Чтобы подтвердить флаки-кандидата вручную:

1. Перейдите в ваш проект ТестОпс → раздел Запуски.
2. Откройте карточку нужного открытого запуска.
3. Перейдите на вкладку Результаты тестов.
4. Откройте карточку нужного результата теста.
5. Нажмите на отметку Флаки? → Подтвердить флаки.

Отметка Флаки? в результате теста изменится на Флаки, связанный тест-кейс также получит отметку Флаки.

Подтверждение флаки-кандидата с помощью перезапусков

Примечание

Функциональность доступна под фича-флагом «Проверка флаки-кандидатов перезапусками». Подробнее о работе с фича-флагами см. Управление бета-фичами.

Проверка выполняется через связанные джобы: создаются новые запуски джоб, запускаются пайплайны в CI-системе, а новые результаты добавляются в текущий запуск. Результаты появляются в карточке результата теста на вкладке Перезапуски.

Если у результата теста нет связанной джобы, пайплайны не запустятся.

Важно

Если интеграция с тестовым фреймворком не поддерживает выборочный запуск, в каждом пайплайне выполняются все тесты, а не только проверяемый флаки-кандидат. При нескольких перезапусках полный набор тестов будет запущен столько раз, сколько перезапусков вы указали.

Чтобы проверить флаки-кандидата с помощью перезапусков:

1. Перейдите в ваш проект ТестОпс → раздел Запуски.
2. Откройте карточку нужного открытого запуска.
3. Перейдите на вкладку Результаты тестов.
4. Откройте карточку нужного результата теста с отметкой Флаки?.
5. Нажмите на отметку Флаки? → Проверить перезапусками.
6. В поле Количество перезапусков введите значение от 2 до 10.
7. При необходимости включите опцию Поместить в карантин, если флаки подтвержден, чтобы исключить тест-кейс из статистики запусков после подтверждения нестабильности.
8. Нажмите Перезапустить.

Примечание

Если вы закроете запуск до выполнения всех перезапусков, отметка Флаки? в результатах теста обновится по уже полученным статусам.

По итогам полученных результатов:

• Если результат теста в перезапусках сначала получил статус «Успешный», а затем «Неуспешный» или «Сломанный», или наоборот, отметка Флаки? меняется на Флаки. Связанный тест-кейс также получает отметку Флаки.
• Если все результаты перезапусков получили один тип статуса, например все успешные или все неуспешные, отметка Флаки? снимается с результата теста.

Снятие отметки «Флаки»

Если автотест больше не считается нестабильным, вы можете снять отметку Флаки у соответствующего ему тест-кейса.

1. Перейдите в ваш проект ТестОпс → раздел Тест-кейсы.
2. Откройте карточку нужного тест-кейса.
3. В правом верхнем углу нажмите ⋯ → Убрать отметку флаки.

Отметка Флаки перестанет отображаться в тест-кейсе и его результатах тестов в открытом запуске.

Чтобы снять отметку Флаки сразу для нескольких автоматизированных тест-кейсов, используйте панель массовых операций и выберите ⋯ → Флаки → Убрать отметку флаки.