Запуски

Когда пользователь запускает ручной или автоматизированный тест-кейс (или несколько тест-кейсов сразу), ТестОпс создает запуск в разделе Запуски. В этом разделе отображается информация о всех запусках в вашем проекте, включая:

• названия запусков;
• статусы запусков;
• дополнительные атрибуты запусков (метаданные), например, теги, связанные задачи, информация об окружении;
• дата и время создания или закрытия запусков;
• результаты тестов в запусках с группировкой по статусу. Вы можете нажать на статус результатов тестов, чтобы посмотреть результаты только с этим статусом (например, только неуспешные тесты).

Меню действий с запуском доступно при нажатии на ⋯ справа от запуска. Рядом с меню действий располагается иконка, чтобы завершить запуск или открыть его заново.

При нажатии на запуск откроется карточка этого запуска с подробной информацией о нем. Подробнее см. Структура запуска.

Статусы запуска

Запуск может находиться в одном из двух статусов: Открыт или Закрыт.

ТестОпс создает/обновляет связанные с запуском тест-кейсы и пересчитывает статистику только после закрытия запуска.

Открытый запуск

Открытый запуск — как правило, недавно созданный запуск, над которым еще ведется работа.

Запуск может находиться в открытом состоянии в следующих случаях:

1. Загрузка результатов тестов в ТестОпс еще не закончена (джобы еще выполняются).
2. Участники вашей команды все еще работают с полученными результатами тестов (обрабатывают и сортируют ошибки).
3. Участники вашей команды забыли закрыть запуск (или не создали правило для автоматического закрытия).
4. Запуск намеренно не закрыт по какой-то иной причине.

До тех пор, пока запуск открыт, ТестОпс не будет обрабатывать его результаты:

1. Не будут созданы новые тест-кейсы на основе результатов тестов.
2. Не будут обновлены существующие тест-кейсы на основе результатов тестов.
3. Не будет пересчитана статистика.
4. Не будет выполнена очистка артефактов, которые были загружены вместе с результатами тестов. Это может привести к росту объема пространства, занимаемого хранилищем артефактов.

Чтобы ТестОпс обработал запуск, закройте его вручную или настройте правила для автоматического закрытия.

Закрытый запуск

Закрытый запуск — запуск, работа с которым завершена.

После закрытия запуска ТестОпс выполнит следующие действия:

1. Создаст новые или обновит существующие тест-кейсы в разделе Тест-кейсы.
2. Обновит статистику в разделе Дашборды, добавив в нее результаты тестов из запуска.
3. Удалит неиспользуемые файлы, который были загружены вместе с запуском.
4. Отметит остальные файлы для будущего удаления в соответствии с настроенными правилами очистки.

Закрытие и повторный запуск

Вы можете закрывать запуски вручную или автоматически.

Чтобы закрыть запуск вручную:

1. Перейдите в раздел Запуски.
2. Справа от нужного запуска нажмите иконку Завершить.

Чтобы перезапустить закрытый запуск, нажмите иконку Перезапустить в том же месте.

Чтобы закрывать запуски автоматически, настройте правила для автоматического закрытия запусков для вашего проекта.

Сортировка запусков и опции просмотра

Чтобы отсортировать список запусков:

1. В разделе Запуски нажмите Опции.
2. В меню Сортировать по выберите вариант сортировки.
3. В меню Направление выберите направление сортировки.

Дополнительно вы можете скрыть метаданные, чтобы сделать список более компактным:

1. В разделе Запуски нажмите Опции.
2. Включите переключатель Скрыть метаданные.

Поиск и фильтрация запусков

Запуски можно фильтровать по их названию и атрибутам (например, статусу, тегам и переменным окружения):

• Для поиска по названию нужно ввести текст для поиска.
• Для поиска по атрибутам нужно указать атрибут и его значение.

Один фильтр может содержать несколько условий поиска по атрибутам и одно условие поиска по названию запуска. При указании нескольких условий будут найдены только те запуски, которые удовлетворяют всем условиям.

Фильтр по названию

Чтобы отфильтровать запуски по названию:

1. В разделе Запуски нажмите на поле поиска над списком запусков.
2. Введите текст для поиска и нажмите Enter.
3. Чтобы очистить поле поиска, нажмите Backspace (Windows) / Delete (macOS) или Очистить под полем поиска.

Фильтр по атрибутам

Чтобы отфильтровать запуски по атрибутам:

1. В разделе Запуски нажмите на поле поиска над списком запусков.

2. Выберите атрибут для поиска.

3. Выберите одно или несколько значений для атрибута.

   Чтобы найти запуски, для которых значение атрибута не указано (например, найти все запуски без тегов), включите переключатель Без значений.

4. Чтобы очистить поле поиска, нажмите Backspace (Windows) / Delete (macOS) или Очистить под полем поиска.

Сохранение фильтров

Чтобы сохранить фильтр:

1. После ввода условий поиска нажмите Сохранить под полем поиска.
2. Введите название для фильтра.
3. Выберите, кому будет доступен этот фильтр: только вам или всем участникам команды.
4. Нажмите Сохранить.

Сохраненный фильтр появится под полем поиска. Чтобы изменить или удалить фильтр, нажмите на него правой кнопкой мыши и выберите нужное действие.

Ручная загрузка результатов тестов

Результаты автоматизированных тестов можно загрузить вручную. Это может быть полезно, если вы хотите проверить, правильно ли генерируются файлы результатов, или если произошла ошибка во время автоматической загрузки.

Вы можете загрузить как отдельные файлы результатов, так и архив с файлами. Чтобы узнать больше о формате файла с результатами теста, см. статью в документации Allure Report.

Чтобы загрузить результаты тестов:

1. Перейдите в раздел Запуски.

2. В правом верхнем углу экрана нажмите Импорт.

3. В левой части появившегося окна введите название нового запуска (или оставьте предложенное) и при необходимости введите дополнительные атрибуты: теги, ссылки и данные окружения.

   Например, вы можете добавить тег Релиз к тем запускам, которые происходят перед публичным релизом.

4. В правой части окна выберите тип загрузки (отдельные JSON-файлы или ZIP-архив) и выберите файлы для загрузки, нажав на область загрузки или перетащив файлы в эту область. Поддерживаются различные форматы результатов тестов.

5. Нажмите Загрузить файлы, чтобы начать загрузку.

Если вы хотите добавить дополнительные результаты тестов в созданный запуск, нажмите ⋯ справа от запуска и выберите Добавить тест-кейсы → Из файла результатов.

Чтобы обновить тест-кейсы и дашборды, закройте запуск после загрузки файлов.

Создание запусков для автоматизированных тестов

При загрузке результатов автоматизированных тестов из CI-системы или из IDE-плагина ТестОпс не нужно создавать запуск. Запуски создаются автоматически интеграцией ТестОпс на удаленной стороне, например, плагином ТестОпс (для Jenkins или Bamboo), с помощью allurectl для CI-систем, таких как GitHub или GitLab. Единственное, что вам нужно, это настроить удаленную часть, чтобы передавать необходимые атрибуты для создаваемого запуска: название запуска, теги, информация о связанных задачах.

Создание запусков для тестовых прогонов, инициированных из ТестОпс

Если вы инициируете тестовый прогон со стороны ТестОпс, независимо от того, запускаете ли вы ручные или автоматизированные тесты или оба типа, ТестОпс создаст запуск, и все результаты тестов будут собраны в созданном запуске.

Чтобы создать запуск в интерфейсе ТестОпс:

• Из списка тест-кейсов:

  1. В разделе Тест-кейсы выберите тест-кейсы.
  2. Нажмите Запустить.
  3. Введите параметры создаваемого запуска, которые запросит ТестОпс.

• Из тест-плана:

  1. В разделе Тест-планы нажмите Запустить.
  2. Введите параметры создаваемого запуска, которые запросит ТестОпс.

• Из списка джоб:

  1. В разделе Джобы выберите джобу для выполнения.
  2. Нажмите Запустить джобу.
  3. Введите параметры создаваемого запуска, которые запросит ТестОпс.

Автоматическое закрытие запусков

ТестОпс поддерживает политику автоматического закрытия запусков. Она состоит из трех независимых правил, которые применяются к запускам по принципу логического оператора or. Чтобы настроить эти правила:

1. Перейдите в Настройки → Запуски.

2. В секции Политика автоматического закрытия нажмите Редактировать.

3. Заполните поле Закрывать выполненные запуски — укажите AQL-запрос для сущности Запуски, чтобы автоматически фильтровать и закрывать нужные выполненные запуски.

   В этом поле можно объединять несколько условий для разных атрибутов через оператор or:

   (aql_expression_1) or (aql_expression_2) or (aql_expression_3)

   Подробнее о том, как указать несколько значений для одного атрибута в статье Указание нескольких значений.

4. Заполните поле Закрыть выполненные запуски через (часы) — укажите количество часов, через которое выполненный запуск должен быть закрыт.

   В качестве значения можно указать 0, но запуск не закроется мгновенно. Сначала ТестОпс обработает все оставшиеся данные, чтобы не потерять информацию, затем закроет запуск. Этот процесс может занимать до 5 минут.

5. Заполните поле Закрыть запуски в процессе через (часы) — укажите количество часов, через которое активный запуск должен быть закрыт. После закрытия запуска статус «В процессе» всех тестов изменится на «Неизвестный».

6. Нажмите Отправить, чтобы сохранить изменения.

Примечание

Запуск считается выполненным, если в нем нет:

• тест-кейсов со статусом В процессе (автоматизированных и ручных);
• активной загрузки данных.

В остальных случаях запуск считается активным (В процессе).

Экспорт данных запуска

Вы можете экспортировать информацию о результатах тестов в запуске в файлы формата PDF или CSV.

Чтобы экспортировать данные:

1. Перейдите в раздел Запуски.

2. Справа от запуска, данные которого вы хотите экспортировать, нажмите ⋯ → Экспортировать.

3. Выберите формат файла для экспорта:

   • PDF — PDF-файл, который будет включать общую статистику по запуску, детали по каждому результату теста, в т. ч. вложения (скриншоты, текст, таблицы) и статусы каждого шага, и будет иметь понятный и легкочитаемый вид. Вы можете отправить PDF-файл сотруднику, у которого нет доступа к инстансу ТестОпс, чтобы ознакомить с важной информацией о запуске.
   • CSV — CSV-файл, который будет содержать таблицу с информацией по каждому результату теста, включая основные метаданные (автор, теги, эпики), статус и сообщение об ошибке. Вы можете импортировать CSV-файл в аналитические инструменты для дальнейшей обработки.

Изменение правил обработки запусков

Когда вы закрываете запуск, ТестОпс создает или обновляет соответствующие тест-кейсы. Вы можете исключить часть запусков из обработки, указав AQL-фильтр в настройках проекта. Исключенные запуски будут отображаться в разделах Запуски и Дашборды как обычно, но при их закрытии не будут создаваться и обновляться тест-кейсы.

Чтобы изменить правила обработки запусков:

1. Откройте ваш проект в ТестОпс.

2. Перейдите в раздел Настройки → Запуски.

3. В разделе Политика генерации документации (тест-кейсов) нажмите Редактировать.

4. Введите AQL-запрос, чтобы выбрать только те запуски, которые нужно обрабатывать при их закрытии.

   Например, введите tag != "debug", чтобы обрабатывать все запуски, кроме тех, которые отмечены тегом debug. Если вы оставите поле пустым, будут обработаны все запуски.

   Важно

   Обратите внимание, что фильтр использует атрибуты запусков, а не тест-кейсов. Атрибуты запусков указываются в настройках вашей CI-интеграции:

   • Если вы используете allurectl, вы можете указать атрибуты запуска с помощью переменных окружения или параметров командой строки (например, allurectl watch -- gradle --launch-tags debug).
   • Если вы используете CI-плагин, проверьте инструкцию для вашей CI-системы.
   • При ручной загрузке результатов атрибуты запуска можно указать в окне выбора файлов.

5. Нажмите Отправить.

Полный список доступных атрибутов для фильтра можно найти в разделе AQL.