我不同意「PoC 就是先做個 demo 給老闆看」。demo 證明的是工程師做得出來,PoC 要證明的是這件事值得做。兩者差在一樣東西:事前寫好的判準。四週的 AI 驗證,我會把第一週整週拿來定判準,寫程式反而排在後面。
01常見說法一:先做出來再說
這句話在一般軟體專案有道理,在 AI 專案很危險。生成式模型幾乎第一天就能做出看起來很厲害的畫面:上傳一份合約,跳出一段摘要,會議室裡大家點頭。問題是沒有人知道那段摘要錯了幾處,因為沒有人事先準備正確答案。
所以我會反過來排。第一週不碰模型,只做三件事:從真實業務抓 100 筆歷史案例當測試集;請現場最資深的同事替每一筆寫出標準答案;把現在人工處理一筆要花幾分鐘量出來。這三樣東西是之後所有比較的基準。
02常見說法二:準確率越高越好
準確率要高過某條線才有用,而那條線由業務決定。假設人工處理一筆平均 12 分鐘,AI 產出後人工複核要 4 分鐘,錯一筆重做要 15 分鐘。100 筆裡錯 x 筆,總工時是 100 × 4 + 15x 分鐘,要低於人工的 100 × 12 = 1,200 分鐘,x 必須小於 53。
算完會發現,有些場景錯一半都還划算,有些場景錯一筆就要出事,例如報價單上的單價。所以判準要分兩層:整體省下的工時,加上一份絕對不能錯的欄位清單。後者只要錯一次,這次驗證就判定不通過。
03四週的排法
第一週:測試集、標準答案、人工基準、不能錯的欄位,四樣東西寫成一頁,請業務主管簽名。第二週:接最小的管線,資料怎麼進來、提示詞怎麼寫、結果輸出到哪裡,能用試算表就先不要開發介面。
第二週容易犯的錯,是看到前十筆效果不好就開始大改提示詞,改到最後只對這十筆有效。我會規定開發時只能看測試集以外的另一批練習資料,那 100 筆鎖起來,第三週之前誰都不准拿來調。這跟考試不能先看考卷是同一個道理。
第三週:盲測。把 100 筆丟進去,結果交給沒參與開發的同事對答案,逐筆記錄對、錯、半對,以及複核花了幾分鐘。第四週:只寫一份決策紀錄,結論三選一:擴大到正式環境、調整後再跑兩週、停止。
04常見說法三:失敗的 PoC 是浪費
四週後決定停止,我認為是成功的驗證。它用一個月的成本,避免公司花半年去建一套沒人敢用的系統。真正浪費的是永遠在「再調一下就好」的專案,因為一開始沒寫判準,所以永遠不會失敗,也永遠不會上線。
NIST 在 2023 年 1 月發布的 AI 風險管理框架 AI RMF 1.0,把工作分成治理、對應、量測、管理四個功能。放進 PoC 來看,第一週的工作就是對應與量測:講清楚系統用在哪裡、錯了會傷到誰、用什麼指標量。少了這段,第三週的分數沒有意義。
05下週一可以做的事
找出手上正在跑、或準備要跑的 AI 試用案,問負責人三個問題:測試集在哪裡、標準答案是誰寫的、做到什麼程度算失敗。三題答不出兩題,先暫停開發,把第一週補回來。
如果是外部廠商提的 PoC,同樣三題寫進合約附件。願意事先寫失敗條件的廠商,通常也比較敢對結果負責。
資料來源
文中數字與法規均出自下列正式資料,引用時請以原始出處為準。