Создание и запуск Batch Test
Используйте Batch Test, чтобы оценивать сразу несколько повторяемых сценариев, а не полагаться только на неформальный разговор в Playground. Набор данных становится стабильным регрессионным чек-листом для важных вопро...
Используйте Batch Test, чтобы оценивать сразу несколько повторяемых сценариев, а не полагаться только на неформальный разговор в Playground. Набор данных становится стабильным регрессионным чек-листом для важных вопросов клиентов.
Agent объединяет инструкции, настройки интерфейса для клиентов, Knowledge, данные каталога и дополнительные инструменты. Надежная конфигурация тестируется на реалистичных вопросах клиентов перед развертыванием. Тесты должны охватывать ожидаемые ответы, отсутствующую информацию, сценарии с продуктами, эскалацию и любое дополнительное взаимодействие, которое включила команда.
Перед началом
Доступ: Откройте настройку и тестирование Agent с разрешением на запуск тестов для выбранного Agent.
- Выберите Agent, который тестируется.
- Определите клиентские сценарии, которые должен охватывать набор данных.
- Подготовьте вопросы вручную, в совместимом CSV-файле или на основе товаров каталога.
Работайте в наименьшей зоне ответственности, описанной ниже, и сохраняйте доступным текущее состояние, видимое клиентам, пока вы подготавливаете изменение. Перед нажатием любого финального действия проверьте активную компанию, Agent, магазин, язык и рынок, показанные в Humind. Отсутствующий элемент управления может указывать на доступ только для чтения или на возможность, которая не настроена для этой компании. В таком случае зафиксируйте предполагаемую задачу и попросите администратора проверить точное разрешение или зависимость. Не обходите это ограничение, делясь учетной записью, копируя данные в другую область или обещая возможность, которую рабочее пространство не предоставляет.
Пошаговый процесс
Определите цель теста
Создайте сфокусированный набор данных для одного релиза, риска или сценария. Смешивайте ожидаемые успешные случаи со случаями отсутствующей информации и граничными случаями, чтобы высокий балл не мог скрыть небезопасное поведение.
- Дайте набору данных конкретное, пригодное для повторного использования имя.
- Запишите ожидаемый критерий приемки рядом с каждым запланированным вопросом.
Добавьте тестовые случаи
Введите вопросы вручную, импортируйте CSV с не более чем 50 случаями или сгенерируйте случаи, ориентированные на продукты, из каталога. Проверьте импортированный текст перед запуском.
- Удалите дубликаты и персональные данные клиентов.
- Сделайте так, чтобы каждый случай был понятен без скрытого контекста.
Выберите Agent и запустите
Подтвердите Agent и набор данных, затем начните запуск. Дождитесь, пока запуск достигнет финального состояния, прежде чем интерпретировать частичные результаты.
- Не редактируйте целевую конфигурацию во время запуска.
- Зафиксируйте время запуска и оцениваемую конфигурацию.
Сохраните набор данных для регрессии
После запуска сохраните полезные случаи и уточните неоднозначные. Повторно используйте тот же набор данных после изменения в Knowledge, руководстве, каталоге или инструментах.
- Добавляйте новые обнаруженные случаи сбоев.
- Не переписывайте старые случаи только для того, чтобы улучшить оценку.
Важные ограничения и примечания по работе
- Импорт CSV ограничен 50 тестовыми случаями на один набор данных.
- Сгенерированные случаи с продуктами зависят от доступного каталога.
- Результат пакетного теста не заменяет проверку в рабочем канале.
- Не включайте в тестовые запросы реальные секреты клиентов или личную информацию.
Проверьте результат
- Набор данных содержит предполагаемое количество отдельных случаев.
- Запуск достигает завершенного или четко указанного финального состояния.
- Каждый ответ можно открыть и проверить.
- Набор данных можно снова выбрать для последующего регрессионного запуска.
Ведите краткую запись о том, что вы тестировали, какой клиентский сценарий использовали и что изменилось. Это делает последующий поиск и устранение неполадок более точным и помогает другому участнику команды воспроизвести результат без опоры на память.
Устранение неполадок
Случаи CSV импортируются не так, как ожидалось
Проверьте структуру файла, кодировку, количество строк и обязательное содержимое вопроса. Начните с небольшого чистого файла, убедитесь, что он импортируется, затем добавьте оставшиеся случаи.
Запуск остается в очереди или завершается с ошибкой
Оставьте набор данных без изменений, запишите указанный статус и повторяйте попытку только после подтверждения, что Agent и сервис доступны. О повторяющемся сбое следует сообщать с контекстом запуска.