当顾客询问“我的退款何时到账”时，AI助手却给出通用政策说明——这种答非所问的现象可能源于路由、检索、知识版本或生成环节。本文通过真实案例拆解排查流程，从日志还原到意图识别、知识检索、模型生成，教你用证据定位问题，避免盲目修改提示词。

用户在订单页面问“我的退款什么时候到”，助手回复“退款申请提交后，平台会按原支付方式退回，请耐心等待”。用户想知道自己那笔钱的进度，而AI给出的却是通用说明。

遇到这种情况，别急着动手。答非所问的根源可能在路由、检索、知识版本或生成，甚至可能根本没调用实时数据。一上来就改提示词，多半是白费功夫。

就拿这个例子来说，那句回复是从帮助中心的通用退款说明中提取的，而这笔订单的退款状态其实是“已完成”，助手当时根本没调用订单接口。个人进度查询压根没走到实时查询这一步。

但这只是个假设。在真实线上环境中，得先确认当时是否确实如此。需要查看那一轮的记录：用户原话和时间、入口和订单上下文、意图和路由结果、检索候选和版本、送入模型的上下文、工具调用和返回、提示词和模型配置版本，以及最终回答。缺少这些信息，只能复现相似的症状，无法确定当初为何答错。

先把那一轮的日志翻出来

这条请求可以通过日志还原：从订单页进入；用户询问退款何时到账；系统路由到政策问答；检索返回通用退款说明；未调用退款查询；模型基于这些材料组织出一段政策回复。

顺着这条链排查，范围就缩小了。订单页未将上下文传递给客服，个人进度查询根本无法启动；上下文传递后，需检查路由是否识别出“查询这笔订单”；路由正确后，再确认退款接口是否被调用以及返回了什么。

如果日志未保存检索结果或接口记录，就用授权测试账号和固定订单状态，在测试环境中重放这个问题，保持知识版本、提示词、模型和配置不变。重放能说明当前配置下是否还会出现同样的现象；但线上状态已变，原配置又未留档，它无法证明当时的根因。这个分寸要把握好。

他问的是规则，还是自己的单

“退款通过后多久到账”是在问一般规则；“我这笔退款什么时候到”是在查自己的订单。两句话看似相近，处理路径可能完全不同。系统能读取订单页上下文，分类时需将上下文一并考虑；用户从公共入口进入，则先确认订单对象，再决定是否查询实时状态。

在意图识别方面，别光看问法，要看实际路由结果，再用一组边界相近的问题验证分类：

“退款一般多久到账？”——查询通用规则。

“退款通过后，通常几天能到账？”——查询规则，回答需说明适用条件。

“我这笔退款现在到哪一步？”——查询个人进度，需要订单上下文和业务接口。

“订单号……，这笔退款为什么还没到？”——查询个人进度并解释当前状态；状态无法解释原因时，转人工核查。

这组问题需连同入口条件一起测试。仅把问法加入样例，无法说明分类就是根因，必须核对当时的上下文、路由输出，以及修改后相邻的规则问题是否仍走原路径。

路由正确后，再看知识检索。检查检索候选、排序、文档版本，以及最终注入模型的片段。候选中有正确文档但排序靠后，与知识库压根没有正确内容，是两码事。检索到新旧两份规则时，需先确认哪份有效，再调整版本标记或检索配置。

知识库中存放退款规则、申请条件、办理说明；某笔订单当前的进度，需从订单或支付系统查询。两者有时共同参与回答：先查订单状态，再引用规则解释这个状态。排查时需分清回答中的事实分别来自哪里。

材料没错，再看模型怎么说

路由、检索候选、送入模型的上下文都符合预期，但回答仍把“审核通过”说成“退款已到账”，这时才轮到检查生成环节。

将这一轮送入模型的内容摊开看：用户问了什么，订单状态和更新时间是什么，检索片段是否完整，提示词和模型配置是哪一版，最终回答又多说或少说了什么。检索结果正确，不代表注入的上下文一定完整；片段可能被截断，状态字段也可能在拼接时丢失含义。

把这些信息放入一条验收样例：

入口与上下文： 已登录用户，从本人订单详情页进入；订单归属校验通过。用户问题： “我的退款什么时候到？”接口返回： 退款已审核通过，退款指令尚未发出；更新时间为10月8日；没有预计到账时间。检索内容： 当前有效退款规则，说明审核通过后的后续处理环节。预期回答要点： 说明审核已通过、退款指令尚未发出；告知更新时间；不补写具体到账日；提供人工核查入口。记录版本： 路由配置、检索配置、提示词、模型版本与接口返回时间。

模型上下文中漏了“退款指令尚未发出”，检查拼接或截断；上下文完整但回答仍声称“已到账”，检查生成指令和模型参数变化；接口字段本身将审核完成和退款完成混为一体，则先修改业务字段定义。修复哪里，与证据对应。

改一处，回头测一圈

排查表能将一次问题留作可复查的记录：

一次修复如果同时修改了知识内容和检索配置，就把这两项当作一组变更记录，比较修改前后的候选和回答，重跑相关核心样例。提示词、模型或全局配置变化后，也要跑完整的核心回归集，检查其他意图、状态、人工转接是否退化。修复后记录样例结果，下次遇到同类问题就有据可查。

本文来自微信公众号“人人都是产品经理”（ID：woshipm），作者：王蒙，36氪经授权发布。作为一名关注AI应用的技术人员，这场NBA焦点战般的排查过程，让我深刻体会到精准定位问题的重要性。