AI 客服上線第一個月,報表上最好看的通常是回覆了幾則,這也是最沒用的數字。回覆量高可能代表解決得好,也可能代表客人問了三次還沒拿到答案。我會把監控指標全部換算成工時與風險,才知道每週該盯哪一個。
01先算轉真人的成本
假設每月進線 3,000 則,AI 處理後有四分之一轉給真人。真人接手要先讀前面的對話再回覆,假設每則 6 分鐘,3,000 × 1/4 × 6 = 4,500 分鐘,也就是 75 小時。這 75 小時就是 AI 還沒接住的工作量。
如果轉真人的比例從四分之一降到六分之一,每月少轉 3,000 × (1/4 − 1/6) = 250 則,省下 250 × 6 = 1,500 分鐘,等於 25 小時。這個數字可以直接拿去調排班,比回覆量有用得多。
02再算重複詢問,找出沒被解決的題目
重複詢問要先定義清楚:同一位客人在 24 小時內,針對同一主題再次進線。這種對話在系統裡會被算成兩次成功回覆,實際上是一次失敗。
假設每月有 200 位客人重複詢問,平均問 2.5 次才放棄或轉真人,就是 200 × 1.5 = 300 則多出來的對話。把這 200 位的對話依主題分類,排前三名的主題,就是知識庫最該補的地方。
補完知識庫後,同一個主題的重複詢問人數要在兩週內下降,沒有下降就代表問題不在知識庫,可能是答案本身寫得太繞,或是客人要的根本是一個 AI 沒有權限做的動作,例如改訂單地址。這時候要調整的是轉真人的規則。
03答錯要靠抽查算,不能等客訴
AI 客服最貴的不是答不出來,是很有自信地答錯。NIST 在 2024 年 7 月發布的生成式 AI 風險設定檔 AI 600-1,把這類問題稱為虛構內容(confabulation),列為生成式 AI 的風險類別之一。客人不會每次都抱怨,多數是照著錯的資訊去做,然後不再回來。
做法是每週隨機抽 50 則已結案對話,由資深客服逐則判定正確、部分正確、錯誤。假設抽到 2 則錯誤,推估全月約 3,000 × 2/50 = 120 則答錯。退換貨規則、價格、保固期限這類題目只要錯一次,就單獨列出來追根因。
抽查的人最好固定兩位、輪流交叉看同一批的一部分,判定標準才不會因人而異。判定表寫清楚什麼算部分正確,例如答對政策但漏講例外條件,算部分正確,不算正確。
04處理時間與滿意度看趨勢
平均處理時間分兩段看:AI 自己結案的對話,以及轉真人後的對話。後者如果越來越長,通常是 AI 把客人繞了好幾圈才轉出去,真人接手時客人已經不耐煩,要花更多時間安撫。
對話結束後的滿意度按鈕回收數通常不多,單週波動很大。我會看連續四週的移動平均,再對照抽查結果。滿意度往下、抽查答錯往上,兩件事同時出現才需要緊急處理。
05收斂成一張五欄週報
最後收成一張週報:進線數、轉真人數與換算工時、重複詢問人數與前三主題、抽查答錯則數與推估全月數、轉真人後平均處理時間。每一欄都附上週數字對照,主管三十秒就看得完。
下週一可以做的事:把重複詢問的定義寫下來,請系統管理者確認後台撈得出來。撈不出來,先用人工每週抽 50 則補上,不要等系統升級。
資料來源
文中數字與法規均出自下列正式資料,引用時請以原始出處為準。