Дашборд расхода токенов

С помощью виджетов в разделе Дашборды вы можете отслеживать, какие модели используются в вашем проекте, сколько токенов расходует каждый участник команды и как меняется потребление токенов со временем.

Важно

Виджеты, связанные с расходом токенов, становятся доступны, когда вы подключили к проекту ТестОпс интеграцию с ИИ-провайдеромСервис, который предоставляет доступ к ИИ-моделям.

Добавление виджетов о расходе токенов

Вы можете добавить виджеты, связанные с расходом токенов, двумя способами:

• добавить виджеты на уже существующий дашборд;
• создать дашборд с помощью шаблона Расход токенов.

Доступные виджеты

ТестОпс поддерживает три виджета, связанных с расходом токенов:

• Расход токенов по моделям — список моделей, в котором для каждой модели указано:

  • Вход — количество токенов запросов, отправленных модели (промпт, контекст, история чата);
  • Выход — количество токенов ответов, полученных от модели;
  • Всего — общая сумма токенов запросов и ответов.

Если одна и та же модель используется в нескольких интеграциях, она отображается отдельной строкой для каждой интеграции. Список отсортирован по убыванию общей суммы токенов.

При нажатии на строку с моделью отображается список участников, которые использовали эту модель, и расход токенов по каждому из них.

• Расход токенов по участникам — список участников команды, в котором для каждого участника указано:

  • Вход — количество токенов запросов, отправленных модели (промпт, контекст, история чата);
  • Выход — количество токенов ответов, полученных от модели;
  • Всего — общая сумма токенов запросов и ответов.

Обращения к модели без участия пользователя (например, запуски агентов по триггерам) объединяются в отдельную строку Системные вызовы.

При нажатии на строку с участником отображается расход токенов по использованным участником моделям и агентам.

• Тренд расхода токенов — столбчатая диаграмма показывает динамику расхода токенов по каждому участнику или по каждой модели. При наведении на столбец диаграммы отображается расход токенов по каждому участнику или модели и суммарный расход за день.