Запуск автоматизированного теста
Автоматизированные тест-кейсы выполняются автоматически с помощью тестовых фреймворков и других специализированных инструментов. В отличие от ручных тест-кейсов, вы не можете создать автоматизированный тест-кейс напрямую через интерфейс ТестОпс.
Каждый автоматизированный тест-кейс — это код на языке программирования, который после выполнения создает файл с результатом теста. Этот файл может быть затем загружен в ТестОпс, и после его обработки ТестОпс создаст новый автоматизированный тест-кейс или обновит существующий.
ТестОпс поддерживает несколько форматов файлов с результатами тестов, но для большинства случаев мы рекомендуем использовать наш внутренний формат, поддерживающий все возможности ТестОпс. Чтобы его использовать, вы можете установить официально поддерживаемый адаптер для вашего тестового фреймворка.
Загрузка результатов теста
Результаты тестов можно загрузить в ТестОпс как вручную, так и автоматически. Для автоматической загрузки вы можете использовать приложение командной строки (allurectl) или плагин для CI-системы.
Кроме основной информации, такой как статус и продолжительность теста, каждый результат теста содержит уникальный идентификатор тест-кейса. Для генерации этого идентификатора адаптеры используют информацию, предоставляемую тестовым фреймворком: готовый к использованию идентификатор или другую информацию, такую как сигнатура функции. Если сгенерированный идентификатор уже существует в ТестОпс, вместо создания нового тест-кейса ТестОпс обновит существующий, добавив в него новые результаты. Чтобы узнать больше о том, как результаты тестов сопоставляются с тест-кейсами, см. Сопоставление результатов с тест-кейсами.
Если вы используете один из официальных адаптеров, после запуска тестов вы можете найти файлы с результатами в директории allure-results или build/allure-results.
Если у вас сейчас нет проекта с автоматизированными тестами, вы можете скачать один из готовых проектов, запустить его и загрузить полученные результаты.
Ручная загрузка
Чтобы загрузить результаты вручную:
Откройте ваш проект.
Перейдите в раздел Запуски.
В правом верхнем углу нажмите Импорт.
В появившемся окне выберите файлы для загрузки. Для этого нажмите на область загрузки в правой части окна или перетащите файлы в эту область.
Результаты можно загрузить как отдельные файлы или в виде ZIP-архива.
Опционально вы можете изменить название запуска и указать дополнительные атрибуты. См. Запуски для более подробной информации.
Нажмите Загрузить файлы.
Через несколько секунд в списке должен появиться новый запуск со статусом Открыт. Этот статус означает, что запуск еще не был обработан ТестОпс и вы можете его изменить (например, загрузить дополнительные результаты или изменить атрибуты). Только после закрытия запуска ТестОпс создаст или обновит соответствующие автоматизированные тест-кейсы.
Чтобы закрыть запуск, нажмите иконку Завершить справа от него.
Автоматическая загрузка
Так как автоматизированные тесты обычно запускаются в CI-системах, таких как Jenkins и GitHub Actions, разумным шагом будет автоматизировать и процесс загрузки результатов тестов. Для этого вы можете установить плагин для вашей CI-системы, если она поддерживается, или использовать приложение командной строки в качестве более универсального решения.
Использование плагинов
Плагины обычно более удобны в настройке и предоставляют больше возможностей, например, возможность запускать пайплайны прямо из интерфейса ТестОпс. Полный список поддерживаемых CI-систем и инструкции по установке плагинов можно найти в статье Интеграции с внешними системами.
Если ваша CI-система не поддерживается или если вы предпочитаете использовать приложение командной строки, вы можете настроить allurectl для загрузки результатов.
Использование allurectl
Чтобы начать использовать allurectl:
- Скачайте файл для вашей платформы.
- Создайте API-токен для allurectl в ТестОпс.
После выполнения тестов запустите allurectl, чтобы загрузить результаты в ТестОпс:
sh
allurectl upload <директория> -e <инстанс> -t <токен> --project-id <проект>где:
<директория>— директория, содержащая файлы с результатами тестов;<инстанс>— URL-адрес вашего инстанса ТестОпс;<токен>— API-токен, который вы создали в ТестОпс;<проект>— ID вашего проекта в ТестОпс.
Также вы можете использовать команду watch вместо upload, чтобы загружать результаты сразу после завершения теста и использовать переменные окружения вместо параметров командной строки. Подробнее — в статье про allurectl.
После загрузки результатов тестов, закройте запуск.
Запуск CI-пайплайнов из ТестОпс
Если вы установили плагин для вашей CI-системы, вы можете запускать пайплайны прямо из интерфейса ТестОпс.
Откройте ваш проект.
Перейдите в раздел Тест-кейсы.
Выберите один или несколько тест-кейсов одним из способов:
- установите галочки рядом с тест-кейсами;
- удерживая Ctrl (Windows) / Command (macOS), нажмите на названия тест-кейсов.
В нижней части экрана в панели массовых операций нажмите Запустить.
В появившемся окне перейдите на вкладку Джобы и убедитесь, что выбрана нужная CI-система для выполнения тестов. При необходимости нажмите Заменить джобу.
Нажмите Отправить.
Перейдите в раздел Запуски.
Найдите созданный запуск. Под названием запуска будет отображаться мигающая иконка, которая означает, что джоба находится в стадии выполнения.
Через короткое время, которое зависит от используемой интеграции, иконка станет кликабельной. Вы можете нажать на нее, чтобы перейти на страницу джобы в CI-системе.
После завершения джобы откройте страницу запуска и перейдите на вкладку Результаты тестов, чтобы посмотреть результаты.
В каждом результате будет дополнительно отображаться ссылка на джобу, в рамках которой был выполнен тест.
Что дальше?
- Создайте комбинированный запуск, запустив ручные и автоматизированные тест-кейсы вместе.
- Изучите результаты тестов в разделах Запуски и Дашборды.