Тестовые фреймворки

ТестОпс работает с результатами автоматизированных тестов из популярных тестовых фреймворков через экосистему Allure Framework. На основе этих результатов тестов можно создавать новые тест-кейсы или обновлять существующие.

Обработка результатов тестов из тестовых фреймворков

Результаты автоматизированных тестов проходят путь от тестового фреймворка до тест-кейсов в ТестОпс в несколько этапов:

1. Подключение тестового фреймворка — тестовый фреймворк подключается к экосистеме Allure Framework с помощью адаптера Allure.
2. Создание и импорт файлов с результатами тестов — во время запуска тестов адаптер создает файлы с их результатами в формате Allure Report, после этого они импортируются в ТестОпс и в системе автоматически создается запуск.
3. Создание и обновление тест-кейсов — после закрытия запуска ТестОпс создает автоматизированные тест-кейсы или обновляет существующие на основе импортированных результатов тестов.

Подробнее см. Создание автоматизированного тест-кейса.

Примеры поддерживаемых тестовых фреймворков

Язык программирования	Примеры тестовых фреймворков
C#	Allure SpecFlow, Allure xUnit.net
Java	Allure Cucumber-JVM, JBehave, JUnit 5
JavaScript/TypeScript	Allure Cucumber.js, Cypress, Playwright
PHP	Allure PHPUnit
Python	Allure Behave, Pytest, Robot Framework
Ruby	Allure Cucumber.rb, RSpec

Полный список поддерживаемых фреймворков и инструкции по установке адаптеров см. в официальной документации Allure Report.

BDD-фреймворки

Для ручного и автоматизированного тестирования по методологии BDD (Behavior-Driven Development) можно использовать синтаксис Gherkin.

Поддерживаются основные BDD-фреймворки:

• Cucumber (Java, JavaScript, Ruby);
• Behave (Python);
• SpecFlow (C#);
• JBehave (Java).

Передаваемые метаданные

Вместе с результатами тестов адаптеры передают метаданные для автоматизированных тест-кейсов. ТестОпс использует эти данные для:

• пошаговой диагностики падения тестов (steps и statusDetails);
• анализа времени выполнения тестов и выявления медленных шагов (start и stop);
• настройки фильтров для тестов (labels и parameters);
• автоматизации отчетности (attachments, descriptionHtml).

Основные поддерживаемые метаданные

• name — название теста/шага;
• fullName — уникальный идентификатор (селектор теста, полное имя теста), включающий метаданные теста (например, имя пакета, имя класса, имя метода);
• description — описание теста или шага в Markdown;
• descriptionHtml — описание теста или шага в HTML;
• links — массив ссылок, добавленных в тест или шаг;
• labels — массив лейблов, добавленных в тест или шаг;
• parameters — массив параметров, добавленных в тест или шаг;
• attachments — массив вложений, добавленных в тест или шаг;
• status — результат теста или шага (passed, failed);
• statusDetails — объект, содержащий подробную информацию о статусе теста или шага;
• stage — этап жизненного цикла теста или шага;
• start/stop — время начала/окончания выполнения теста или шага;
• steps — массив шагов теста.

Набор передаваемых метаданных зависит от тестового фреймворка. Подробнее см. Test result file в документации Allure Report.