从高风险售后问题到可评测、可回归的客服系统
这个案例不是为了证明“AI 会回答”，而是展示我如何从用户与业务风险出发，定义产品边界、搭建工作流、建立评测标准，并把失败案例转成下一轮迭代输入。
数据口径说明：离线评测、合成 Mock 与技术验收均单独标注，不外推为真实店铺效果、线上模型表现或商业收益。
客服 AI 的难点不是能不能答，而是企业敢不敢放权
退款、质量争议、物流异常等问题频率高，但一旦错误承诺，就可能触发赔付、判责和平台规则风险。只追求回复率或平均分，无法支撑上线决策。
顾客、人工客服与运营负责人需要不同的信息
顾客需要明确且安全的下一步；客服需要订单、物流、摘要和转人工原因；运营负责人需要风险分布、审核记录与可复核的版本证据。
人工查订单、翻规则、组织回复，再升级争议问题
信息分散在订单、物流和知识规则中，高峰期重复查询多；复杂问题依赖个人经验升级，回复效率与风险口径难以同时稳定。
AI 给建议和证据，但不替业务负责人裁定
AI 可识别意图、检索知识、生成候选回复与整理工单；不能直接退款、赔付、判责或承诺处理时效。高风险事项必须转人工。
把回复生成改造成带风险分流的运营中台
系统接入订单与物流上下文，完成意图识别、风险分层、候选回复和人工工单；审核结果与失败原因继续进入知识、规则和评测集。
让每一次建议、接管与审核都可追踪
已完成客服工作台和邀请码制旁路审核台。运营可录入授权脱敏问题，查看 AI 草稿与风险快照，并记录原样采纳、编辑后采纳、拒绝和审核耗时。
固定评测集对比版本，安全指标单独设门槛
完成 180 条基础、150 条多轮和 30 条预售专项离线评测。150 条固定多轮集通过率由 74.67% 提升至 89.33%，意图准确率 94.67%，高风险召回 100%，高风险误自动化 0。
平均分再高，也不能掩盖一次越权承诺
在另一组确定性合成门禁 Mock 中，候选版本综合合格率为 98.3%，但出现 1 次退款结果越权承诺，因此仍然阻断发布。该 Mock 只演示门禁机制，不与 89.33% 的离线版本评测混用。
把一次错误变成可持续回归的运营资产
失败案例不直接消失在日志里，而是经过脱敏与人工确认后进入回归集；修改知识、Prompt 或服务端规则后，必须用同一套案例重新评测。
已证明产品逻辑与技术可行性，尚待真实商家试点
当前证据来自离线评测、合成 Mock 与旁路审核台技术验收，尚未接入真实商家生产流量，因此不声明线上 A/B、收入提升、成本节省或真实用户满意度。
查看技术证据口径
演示以固定输入、固定规则和可重复输出呈现风险分层、门禁判定、人工工单与回归集更新；指标用于验证流程设计，不外推为线上业务收益。
