排查错误或不受支持的回答
诊断对错误、缺失、不受支持或无来源依据的回答负责的最小层。严谨的追踪可防止用快速指令掩盖过时的源数据。 Agent 结合了指令、面向客户的界面设置、Knowledge、目录数据以及可选工具。可靠的设置会在部署前使用真实的客户问题进行测试。测试应覆盖预期回答、缺失信息、产品场景、升级处理,以及团队已启用的任何可选交互。 开始之前 访问权限: 使用 Playground 或测试访问权限,以及对相关 Agent、Knowledge、目录...
诊断对错误、缺失、不受支持或无来源依据的回答负责的最小层。严谨的追踪可防止用快速指令掩盖过时的源数据。
Agent 结合了指令、面向客户的界面设置、Knowledge、目录数据以及可选工具。可靠的设置会在部署前使用真实的客户问题进行测试。测试应覆盖预期回答、缺失信息、产品场景、升级处理,以及团队已启用的任何可选交互。
开始之前
访问权限:使用 Playground 或测试访问权限,以及对相关 Agent、Knowledge、目录和工具的只读访问权限。
- 保存客户的确切提示词和响应。
- 记录 Agent、渠道、时间和预期结果。
- 在分享示例前移除个人信息。
在下面描述的最小责任区域中工作,并在准备更改时保持当前面向客户的状态可用。在点击任何最终操作之前,请确认 Humind 中显示的当前公司、Agent、商店、语言和市场。缺失的控件可能表示只有只读访问权限,或者该公司尚未配置该能力。在这种情况下,请记录预期任务,并请管理员检查确切的权限或依赖项。不要通过共享账户、将数据复制到其他区域,或承诺工作区未提供的能力来绕过这一边界。
分步工作流程
复现响应
在最接近的可用测试界面中运行相同的提示词。如果无法复现,请比较渠道上下文、市场、产品、对话历史和配置。
- 首次复现期间不要更改任何设置。
- 记录最小可重复的提示词。
识别所需来源
判断回答应来自 Knowledge、目录数据、Agent 指导,还是已配置的工具。对于不受支持的请求,应设置安全边界,而不是给出编造的补全。
- 打开权威来源。
- 检查可见性、生命周期、同步和索引状态。
应用一项有针对性的修正
当事实错误时更新权威来源,当行为错误时更新指导,或者当可用操作失败时更新工具配置。不要在多个层中重复同一事实。
- 记录精确的更改。
- 等待所需的同步或索引完成。
重新测试并添加回归覆盖
重复原始提示词以及一个临近的边界案例。当该失败代表重复出现或高影响的客户旅程时,将其添加到 Batch Test。
- 比较更改前后的响应。
- 验证修正未扩大不受支持的声明。
重要限制和操作说明
- 看似合理的响应仍然可能是不受支持的。
- 对话历史可能会影响实时响应。
- 同时更改多个层会导致无法证明根本原因。
- 不可用的能力在回答中必须继续明确显示为不可用。
验证结果
- 原始失败可以复现,或者其上下文差异已知。
- 只有一个权威来源负责该修正。
- 现在的响应能够安全作答或安全拒绝。
- 回归案例可保护已修正的客户旅程。
简要记录你测试了什么、使用了哪个客户场景以及发生了什么变化。这会让后续排查更加精确,并帮助其他团队成员在不依赖记忆的情况下复现结果。
故障排查
没有任何来源包含预期答案
确认该信息已获批准且可维护,然后将其添加到适当的来源中。如果业务尚未决定答案,不要为 Agent 编造一个。
修正仅在一个渠道中生效
比较已部署的 Agent、市场、域名、对话上下文和发布状态。内容可能是正确的,但该渠道仍在使用不同的配置。