文旅AI客服PoC别只测问答准确率

导语

文旅企业做AI客服PoC，如果只准备一批标准问题，让机器人回答开放时间、票价、交通路线，很容易得到漂亮结果。但真实上线后，游客会追问、改口、带情绪，还会提出需要查询、办理和跨部门协同的问题。

所以，文旅AI客服PoC不能只测问答准确率。更应该测试一段服务旅程：游客从哪里来，AI依据什么知识回答，哪些问题进入工单，什么时候转人工，服务后有没有反馈回收。

网易智企·云商的AI客服、呼入机器人、工单、坐席辅助、AI调研和数据看板，适合用“流程闭环”而不是“单轮问答”做验收。

PoC第一步，不是由项目组凭经验写题，而是从历史热线、在线会话、OTA评论、公众号留言、现场反馈里抽样。

文旅问题有大量口语表达。游客不会说“请问预约规则”，而会问“我明天去还能改时间吗”“下雨还开吗”“带老人怎么上山”。真实语料能检验意图识别和知识匹配，而标准问法只能检验演示效果。

参考文旅案例中的做法，先对历史电话录音转写、聚类，再拆出标准问题、流程问题和非标问题，是更接近真实业务的PoC设计。

文旅AI客服PoC至少要测四类问题。

第一类是标准咨询，比如开放时间、票价、路线、停车、天气。看知识是否准确、更新是否及时。

第二类是查询办理，比如订单、预约、退改、发票、遗失物登记。看AI能不能收集信息、创建工单或调用系统。

第三类是人工协同，比如投诉、争议、突发情况。看转人工是否及时，是否带上下文。

第四类是行后反馈，比如满意度、建议、复游意向。看AI调研是否能把游客声音结构化，并回流到运营复盘。

问答准确率只能说明AI是否答对，不能说明服务是否完成。

建议加入这些指标：高频问题命中率、转人工原因分布、工单创建完整率、办理类问题一次性提交率、重复进线率、未解决问题回流率、游客满意度、知识更新时效。

如果PoC只看“答得像不像人”，项目上线后很容易卡在业务流程里。文旅客户真正要验收的是：AI能否在正确边界内完成接待、分流、办理和复盘。

时间取决于场景范围。第一期建议选择一个高频入口和两到三个高频场景，跑通知识、转人工和工单闭环后再扩展，不建议一开始覆盖所有渠道。

要测试，但目标不是让AI自动处理，而是验证AI能否识别风险并转人工。投诉、赔付、安全和高情绪问题必须纳入边界测试。

不是机器人回答了多少题，而是服务链路能否跑通：标准问题稳定回答，办理问题能进流程，复杂问题能转人工，未解决问题能回流改进。