Категории ошибок

Категории ошибок позволяют автоматически группировать неуспешные тесты на основе текста их ошибок или стек-трейсов для последующей фильтрации и анализа. Это помогает быстро находить похожие проблемы в тестах и оценивать их распространенность в проекте.

Типы категорий ошибок

В ТестОпс доступны два типа категорий ошибок:

• Глобальные категории ошибок — создаются в разделе Администрирование и могут быть добавлены в любой проект инстанса. Используйте глобальные категории, когда одни и те же типы ошибок встречаются в разных проектах и вы хотите унифицировать их классификацию во всем инстансе.

• Проектные категории ошибок — создаются в настройках проекта и доступны только в текущем проекте. Используйте проектные категории, когда ошибки специфичны для конкретного проекта и не требуют унификации на уровне инстанса.

  Совет

  Проектные категории ошибок можно создавать независимо от глобальных. Также вы можете добавить глобальные категории ошибок в проект, если они уже были созданы администратором инстанса.

После создания категории ошибок необходимо настроить схему автоматизации, которая будет определять, какие неуспешные тесты должны попадать в эту категорию. Схема автоматизации использует регулярные выражения для поиска определенного текста в сообщениях об ошибках или стек-трейсах.

Примечание

Подробнее о регулярных выражениях см. Часто задаваемые вопросы → Какой синтаксис регулярных выражений поддерживает ТестОпс?.

Настройка глобальных категорий ошибок

Примечание

Чтобы настроить категории ошибок на уровне инстанса, необходима глобальная роль «Администратор».

Создание глобальной категории ошибок

Чтобы создать глобальную категорию ошибок:

1. Перейдите в раздел Администрирование → Категории ошибок.
2. В секции Категории нажмите + Создать.
3. В поле Название введите название категории ошибок.
4. В поле Описание введите описание категории.
5. В поле Цвет выберите цвет категории.
6. Нажмите Отправить.

Создание глобальной схемы автоматизации

Чтобы создать глобальную схему автоматизации:

1. Перейдите в раздел Администрирование → Категории ошибок.

2. В секции Схемы автоматизации нажмите + Создать.

3. В поле Название введите название нового правила.

4. В поле Категория выберите глобальную категорию ошибок, созданную ранее.

5. В поле Регулярное выражение для сообщения введите регулярное выражение для поиска текста в сообщениях об ошибках.

6. При необходимости в поле Регулярное выражение стек-трейса введите регулярное выражение для поиска текста в стек-трейсах ошибок.

   Примечание

   Требуется указать хотя бы одно регулярное выражение: для сообщения или для стек-трейса.

7. Нажмите Отправить.

Настройка проектных категорий ошибок

Чтобы использовать глобальную категорию ошибок в проекте, добавьте ее в настройки проекта. После добавления категории и связанной с ней схемы автоматизации они начнут применяться к тестам этого проекта.

Примечание

Чтобы настроить категории ошибок на уровне проекта, необходима проектная роль «Владелец проекта».

Создание проектной категории ошибок

Чтобы создать проектную категорию ошибок:

1. Перейдите в раздел Настройки → Категории ошибок.

2. В секции Категории создайте проектную категорию ошибок или добавьте существующую глобальную:

   1. Нажмите + Создать.
   2. В поле Название введите название категории ошибок.
   3. В поле Описание введите описание категории.
   4. В поле Цвет выберите цвет категории.
   5. Нажмите Отправить.

Создание проектной схемы автоматизации

Чтобы создать проектную схему автоматизации:

1. Перейдите в раздел Настройки → Категории ошибок.

2. В секции Схемы автоматизации создайте проектную схему автоматизации или добавьте существующую глобальную:

   1. Нажмите + Создать.

   2. В поле Название введите название нового правила.

   3. В поле Категория выберите категорию ошибок проекта (созданную для проекта или добавленную из глобальных).

   4. В поле Регулярное выражение для сообщения введите регулярное выражение для поиска текста в сообщениях об ошибках.

   5. При необходимости в поле Регулярное выражение стек-трейса введите регулярное выражение для поиска текста в стек-трейсах ошибок.

      Примечание

      Требуется указать хотя бы одно регулярное выражение: для сообщения или для стек-трейса.

   6. Нажмите Отправить.

После создания или добавления схемы автоматизации все неуспешные тесты, текст ошибки или стек-трейс которых соответствует указанным регулярным выражениям, будут автоматически отнесены к соответствующей категории в текущем проекте.

Примеры настройки категорий ошибок

Пример настройки категории для ошибок подключения к базе данных

Предположим, что в вашем проекте часто возникают ошибки подключения к базе данных. Вы можете создать категорию для автоматической группировки таких ошибок:

1. Создайте категорию ошибок с параметрами:

   • название: Ошибки базы данных;
   • описание: Ошибки, связанные с подключением к базе данных;
   • цвет: выберите красный цвет.

2. Создайте схему автоматизации с параметрами:

   • название: Ошибки PostgreSQL;
   • категория: Ошибки базы данных;
   • регулярное выражение для сообщения: connection.*refused|could not connect|database.*unreachable|timeout.*database;
   • регулярное выражение стек-трейса: org\.postgresql|java\.sql\.SQLException.*Connection.

После настройки все тесты, в сообщениях об ошибках или стек-трейсах которых встречаются фразы «connection refused», «could not connect», «database unreachable» или упоминания PostgreSQL, будут автоматически отнесены к категории Ошибки базы данных.

Пример настройки категории для ошибок авторизации

Если в ваших тестах часто встречаются ошибки, связанные с авторизацией и аутентификацией пользователей, создайте отдельную категорию для их группировки:

1. Создайте категорию ошибок с параметрами:

   • название: Ошибки авторизации;
   • описание: Ошибки, связанные с аутентификацией и авторизацией пользователей;
   • цвет: выберите оранжевый цвет.

2. Создайте схему автоматизации с параметрами:

   • название: Ошибки авторизации и токенов;
   • категория: Ошибки авторизации;
   • регулярное выражение для сообщения: unauthorized|forbidden|authentication.*failed|invalid.*token|token.*expired|access.*denied;
   • регулярное выражение стек-трейса: \b(401|403)\b|AuthenticationException|AuthorizationException.

После настройки все тесты с ошибками авторизации, такими как «unauthorized», «forbidden», «authentication failed», «invalid token» или HTTP-кодами 401 и 403, будут автоматически сгруппированы в категорию Ошибки авторизации.

Использование категорий ошибок

Категории ошибок отображаются и используются в разных разделах ТестОпс для анализа результатов тестов:

• В карточке запуска — категории ошибок можно посмотреть на вкладке Обзор в виджете Категории ошибок и на вкладке Ошибки. Подробнее см. Структура запуска в ТестОпс.

• Во время выполнения ручного теста — вы можете выбрать категорию ошибки при отметке шага сценария как пройденного. Подробнее см. Часто задаваемые вопросы → Как я могу указать более подробную информацию о статусе шага?.

• В AQL-запросах — категории ошибок можно использовать для фильтрации результатов тестов с помощью поля category.