本台定位:不卡实时会话、不审单条回复。只消费"已发生的会话留痕",产出"让 AI 变好的知识与配置"。唯一北极星:L2 占比(AI 答不准/低置信导致的转人工)持续下降。
AI 自动解决率
61.4%
▲ 3.2% 环比
转人工率(L1+L2)
38.6%
▼ 3.2% 在降
AI 回复准确率(质检)
92.8%
▲ 1.1%
知识覆盖率
78%
▲ 5% 闭环生效
北极星:L2 占比趋势 越低越好 · 周
22%W1
20%W2
18%W3
15.5%W4
13.6%W5
11.2%W6
知识闭环上线 6 周,L2 占比从 22% → 11.2%,验证"事后治理"路径有效。
转人工原因构成 本周
| 情绪激动(L1) | 1.1% | 硬转 |
| 3 轮未解决(L1) | 7.6% | 硬转 |
| 赔付/合规/纠纷(L1) | 4.5% | 硬转 |
| 低置信/答不准(L2) | 11.2% | 可治理 |
| 商家主动要人工 | 14.2% | — |
只有 L2(11.2%) 是本台治理对象。L1 硬转人工属合规策略,不在此优化。
分类准确率热力图 29 类 · 红色=需治理
反馈确认98%
寒暄打招呼99%
APP功能95%
设备使用93%
物流问题87%
门类问题82%
保险咨询94%
提现问题91%
主控问题85%
监控摄像头76%
软件Bug80%
意图不明71%
点击红色格 → 跳转「转人工归因聚类」定位根因。监控摄像头(76%)、意图不明(71%)是当前最需治理的两类。
事后抽样质检(非实时):对已结束会话抽样打分。AI 回复和管家回复用同一把尺子。重点抽:低置信、未解决、有撤回的会话。好答案→知识候选,错答案→训练样本。
智能抽样
低置信优先未解决有撤回AI回复管家回复
监控摄像头一直离线
AI·置信0.42未解决
门锁怎么配网
AI·置信0.51已解决
提现什么时候到账
管家撤回1条
大屏黑屏了怎么办
AI·置信0.38未解决
这个保险保什么
AI·置信0.66已解决
队列剩余 128 条
会话 #1481860714 设备问题/监控摄像头 · 微店24智能店
AI 置信度 0.42(低)
商家
我店里那个监控摄像头一直显示离线,怎么弄都连不上
AI 客服
您好,摄像头离线建议您重启一下路由器,然后等待 2 分钟看是否恢复。
管家·倪嘉琪
您好,先确认摄像头指示灯是红灯还是蓝灯?红灯是网络问题,蓝灯是设备已离线超 24h 需要长按 reset 键 5 秒重新配网。我发个视频教程给您。
AI 答案过于笼统(只说重启路由器),未覆盖"指示灯判断 + reset 重配网"。根因:知识缺失。
质检打分
错误类型
Grade-the-grader
本条已被质检主管复核 · 无分歧
这是"批量"的正确打开方式:单条回复无法批量(2489 店铺各问各的),但同类问题可以批量治理——把看似分散的失败语义聚成"问题簇",一个簇对应一次知识修复。
问题簇(按转人工量排序)
17 个活跃簇
🔴 监控摄像头离线/配网142次 ▲
🟠 门锁配网超时67次 ▲新
🟠 大屏黑屏/无信号53次
🟢 提现到账时间23次 ▼
簇详情:监控摄像头离线/配网
142
转人工次数/周
139
涉及店铺(分散)
76%
AI 当前准确率
根因诊断
主因 知识缺失:无"指示灯判断 + reset 重配网"标准答案
次因 新机型固件 6 月更新,旧知识失效
代表样本(6 条)
· "摄像头一直离线连不上" — #148186…
· "监控显示设备不在线" — #148201…
· "新装的摄像头配不上网" — #148233…
· "监控显示设备不在线" — #148201…
· "新装的摄像头配不上网" — #148233…
本台唯一保留"审核"的地方,但审的是"知识条目上线",不是"单条回复"。知识天然异步、可批量、一次审核长期复用——这才是真正能提效的审核。
质检/聚类发现缺口→
草拟知识(管家优质答案标准化)→
审核上线(唯一闸门)→
喂回 AI→
效果回看 · L2↓
知识闭环看板 9 个进行中
🔍 缺口待处理 3
监控摄像头离线/配网
来源:聚类 · 142次/周
高优知识缺失
门锁配网超时
来源:聚类 · 新增
中优无条目
大屏黑屏无信号
来源:质检
中优意图差
✍ 草拟中 2
摄像头离线排查 SOP
从管家·倪嘉琪 答案标准化
编辑中含视频
提现到账时间说明
合并 3 条优质回复
编辑中—
👀 待审核上线 2
摄像头离线排查 SOP v2
提交人:质检主管
待批准
门锁 reset 配网指引
提交人:知识运营
待批准
✅ 已上线·验证 2
提现到账时间说明
转人工 88→23/周 ▼74%
已生效6/12 上线
APP 功能咨询合集
准确率 89→95%
已生效6/8 上线
审核详情(示例:摄像头离线排查 SOP v2)
知识条目内容
触发问题:摄像头离线/连不上/不在线
标准答复:① 先看指示灯:红灯=网络问题,重启路由器;蓝灯=离线超24h,长按 reset 键 5 秒重新配网。② 附配网视频教程。③ 仍不行 → 转人工报修。
适用机型:全系列(含 6 月新固件)
标准答复:① 先看指示灯:红灯=网络问题,重启路由器;蓝灯=离线超24h,长按 reset 键 5 秒重新配网。② 附配网视频教程。③ 仍不行 → 转人工报修。
适用机型:全系列(含 6 月新固件)
审核操作
覆盖问题簇监控摄像头(142次/周)
预计可降 L2约 -2.9%
来源可信度管家已解决 38 次
上线后自动回看该簇 7 日转人工率,验证闭环效果。
版本对比 + 阈值/护栏配置。这里是平衡「自动化率 ↔ 准确率」的旋钮:阈值调高→更多进 L2(更准但更多人工),调低→反之。
AI 版本对比 影子测试 · 对标 golden set
v3.2 当前线上
准确率92.8%
自动解决率61.4%
L2 占比11.2%
vs
v3.3 候选 +知识闭环
准确率94.5% ▲
自动解决率66.1% ▲
L2 占比8.4% ▼
L2 置信度阈值
低于阈值的回复 → 判为 L2 转人工
当前阈值:0.62
0.0 全自动1.0 全转人工
调至 0.62:预计自动率 61%、误放率 <2%。调高更安全但人工压力大。
L1 护栏规则(硬转人工) 合规策略 · 不参与 AI 优化
情绪激动识别命中负面情绪关键词/语气 → AI 发安抚话术后硬转启用
3 轮未解决同一问题 AI 连续 3 轮未解决 → 硬转人工启用
赔付/资金命中金额、赔付、退款承诺 → 直接硬转,AI 不自由发挥启用
合规/纠纷投诉命中合规风险词、投诉纠纷 → 硬转人工启用
保险条款解释(可选)涉及保险理赔条款 → 硬转停用