風險與治理

AI 幻覺擋不住,多半是流程沒設防線,不是模型不夠新

生成式 AI 的幻覺不會因為換模型就消失。本文拆解五種讓錯誤流到客戶手上的流程設計,逐一找出根因,並給每一種對應的防線做法。

幻覺不是 bug,是生成式 AI 運作方式的一部分。NIST 在 AI 600-1 生成式 AI 風險框架裡把這類風險稱為 confabulation,並指出風險在於使用者因為回答語氣篤定而相信錯誤內容,進而照著做。所以我不問「哪個模型不會幻覺」,我問的是:錯的內容出現時,流程上哪一關會擋下來。下面拆五種常見的沒擋住。

01失敗一:讓 AI 憑記憶回答公司的事

同仁問 AI「我們的退貨期限是幾天」,AI 給了一個看起來很合理的數字,但那是它從網路上學來的一般規定,不是公司的。根因是把需要依據的問題,交給沒有依據的工具回答。

防線是限定來源:公司規定、產品規格、價目這類問題,只能用接了內部文件的工具回答,而且回答要附上引用的文件段落。附不出來源的答案,一律當作沒有答案。

02失敗二:有附來源,但沒有人點開

比失敗一進步,AI 會附上出處。問題是出處本身可能也是錯的:文件存在,但那一段寫的是另一件事;或引用的是兩年前的舊版規定。看到有來源,大家就放心了,沒有人真的點開對照。

根因是把「有來源」當成「已驗證」。防線是抽查:每週隨機抽 10 筆有附來源的回答,由負責人點開原文對照,記下不符的比例。比例沒降下來,就回頭檢查文件版本管理,通常是舊文件沒下架。

03失敗三:數字、日期、名稱沒有單獨核對

生成式 AI 寫出來的段落,文字通順時最容易讓人忽略裡面的數字。一份 AI 草擬的客戶提案,敘述都對,但交期多寫了一週、產品型號差一個字母,寄出去才被客戶發現。

根因是審稿時看的是整體語意,不是逐項事實。防線是把這三類欄位抽出來另外核:數字、日期、專有名詞。做法可以很土,請 AI 在草稿最後列出文中所有數字與名稱,審稿人逐條打勾,比讀整篇更不會漏。

04失敗四:沒有分風險等級,全部用同一套審核

內部會議紀錄和對外報價單,都用同一種方式審,結果不是全部審得很鬆,就是全部審得很嚴,嚴到沒人想用。根因是沒有依錯誤的後果區分。

防線是分三級。第一級是內部參考用,例如會議摘要,使用者自己看過即可。第二級是對內正式文件,例如 SOP 草稿,要有第二人覆核。第三級是對外或涉及金額、法規的文件,例如報價、合約、報關資料,一律由權責主管簽核才能送出。分級寫成一張表,貼在每個人看得到的地方。

05失敗五:錯了沒有紀錄,下次照樣錯

抓到錯誤之後改掉就沒事了,這是最可惜的做法。同一類幻覺會反覆出現,例如某個產品名稱 AI 老是寫成舊名,每次都靠人眼抓,總有一次會漏。NIST 的框架也建議組織記錄、分析生成式 AI 的事件,以便後續處理。

防線是一張簡單的錯誤紀錄表,欄位只要五個:日期、用途、錯在哪裡、誰發現、怎麼修。每月看一次,同一類錯誤出現三次以上,就要改流程或改提示詞,不是繼續靠人抓。我的原則是,靠人眼抓錯可以當最後一道防線,不能當唯一一道。

資料來源

文中數字與法規均出自下列正式資料,引用時請以原始出處為準。

  1. [1]NIST|AI 600-1: Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile(2024-07)
徐愷(KK)肖像照

作者

徐愷(KK)

遊遊股份有限公司負責人、主導顧問

LinkedIn →

先預約 30 分鐘需求初談,確認下一步該做什麼

初談免費。我們會確認問題範圍、預算與決策者,再提出初步建議與可執行的下一步。