测试 Agent 如何处理商品
评估特定于商品的行为,不要把目录问题与一般对话问题混淆。测试应显示所选商品是否可供 Agent 使用,以及其展示是否准确。 Agent 结合了指令、面向客户的界面设置、Knowledge、目录数据和可选工具。可靠的设置会在部署前使用真实的客户问题进行测试。测试应覆盖预期回答、缺失信息、商品场景、升级处理,以及团队已启用的任何可选交互。 开始之前 访问权限: 打开 Agent 设置和测试,你需要具有目录读取权限以及运行商品测试的许可...
评估特定于商品的行为,不要把目录问题与一般对话问题混淆。测试应显示所选商品是否可供 Agent 使用,以及其展示是否准确。
Agent 结合了指令、面向客户的界面设置、Knowledge、目录数据和可选工具。可靠的设置会在部署前使用真实的客户问题进行测试。测试应覆盖预期回答、缺失信息、商品场景、升级处理,以及团队已启用的任何可选交互。
开始之前
访问权限:打开 Agent 设置和测试,你需要具有目录读取权限以及运行商品测试的许可。
- 选择一个应该可用的已同步商品。
- 了解其当前标题、变体、价格、库存和市场上下文。
- 确认当前未在进行索引。
在下文所述的最小归属范围内操作,并在准备更改时保持当前面向客户的状态可用。在点击任何最终操作之前,请确认 Humind 中显示的当前公司、Agent、商店、语言和市场。缺少某个控件可能表示你只有只读权限,或表示该公司未配置相应功能。在这种情况下,请记录预期任务,并请管理员检查确切的权限或依赖项。不要通过共享账户、将数据复制到其他区域或承诺工作区未公开的功能来绕过这一边界。
分步工作流程
选择有代表性的商品
从一个有足够数据可供验证的商品开始。如果这些情况对店面很重要,再使用变体、缺货示例或特定市场示例重复测试。
- 记录商品和预期市场。
- 在询问 Agent 之前检查其源数据。
运行真实的客户提示
使用购物者会使用的语言,询问有关适配性、属性、替代品、变体可用性或价格的问题。避免在提示中透露预期答案。
- 提出一个事实性问题和一个推荐性问题。
- 加入一个针对缺失数据的边界问题。
将回复与目录进行比较
验证 Agent 使用的是正确商品,并且没有混入其他商品的细节。仔细检查那些可能因变体或市场而变化的值。
- 比较标识符和显示的属性。
- 区分源数据错误与回复行为问题。
修正归属层并重新测试
当目录有误时,修正源数据或同步;当商品不可用时,修正索引;只有在回复行为需要调整时,才修正指导内容。
- 一次只做一项有针对性的修正。
- 在所需同步或索引完成后,重复同一个提示。
重要限制和操作说明
- 商品测试依赖于当前可用的已索引目录。
- 价格和可用性可能因市场和变体而异。
- 叙述性 Knowledge 不应覆盖易变的目录事实。
- 商品测试不会验证店面嵌入或线上域名。
验证结果
- 可以选择目标商品进行测试。
- Agent 能正确区分商品事实与变体事实。
- 会承认缺失数据,而不是编造数据。
- 重复测试反映出有针对性的修正。
简要记录你测试了什么、使用了哪种客户场景,以及发生了哪些变化。这样可以让后续故障排查更精确,也能帮助其他团队成员在不依赖记忆的情况下复现结果。
故障排查
无法选择商品
检查同步、商品可见性、索引规则和最终索引状态。验证该商品属于当前公司和目标市场。
Agent 使用了另一件商品的详细信息
比较标题、变体、元数据和筛选条件,查看是否存在歧义值。在添加行为指导之前,先改进底层商品区分或筛选配置。