Сжатие контекста в чате Ассистента

Важно

Управление сжатием контекста чата в Ассистенте доступно только в серверной версии ТестОпс. В облачной версии используются значения по умолчанию.

Окно контекста — это максимальный объем информации в токенах, который Ассистент может одновременно учитывать и обрабатывать в рамках одного чата. Если вы превышаете лимит окна контекста, Ассистент автоматически сокращает историю диалога, чтобы уложиться в допустимый объем токенов. Вы можете настроить параметры сжатия с помощью переменных окружения.

Доступные параметры:

• ALLURE_CHAT_COMPRESSION_CHARSPERTOKEN — среднее количество символов на один токен, используется для приблизительного подсчета токенов в тексте (по умолчанию: 4.0);
• ALLURE_CHAT_COMPRESSION_MAXTOKEN — лимит токенов в контексте чата (по умолчанию: 4000);
• ALLURE_CHAT_COMPRESSION_TRIGGERPERCENTAGE — процент заполнения окна контекста, при достижении которого выполняется сжатие (по умолчанию: 80).

Чтобы изменить параметры сжатия контекста, измените конфигурационные файлы ТестОпс в зависимости от вашего типа развертывания:

1. В файле values.yaml добавьте параметры в секцию env.open (или в секцию, где задаются переменные окружения сервиса testops):

   env:
     open:
       ALLURE_CHAT_COMPRESSION_CHARSPERTOKEN: 4.0
       ALLURE_CHAT_COMPRESSION_MAXTOKEN: 4000
       ALLURE_CHAT_COMPRESSION_TRIGGERPERCENTAGE: 80

2. Сохраните изменения и перезапустите ТестОпс.