聊天機器人回答問題,AI Agent 替你做事。兩者都用大型語言模型,差別在於系統有沒有被授權去呼叫工具、改資料、送出結果。最近被問到這題的次數明顯變多,我把經營者最常問的六題整理在這裡。
01Q1:講白一點,兩個到底差在哪
聊天機器人的流程是一問一答:你輸入,它輸出文字,剩下的事由人去做。Agent 的流程是一個迴圈:拿到目標,先拆步驟,挑工具執行,讀取執行結果,再決定下一步,直到判斷任務完成。
舉例來說,問「這張訂單出貨了沒」,聊天機器人會告訴你去哪裡查;Agent 會自己呼叫 ERP 的查詢 API,讀到「已出貨、物流單號某某」,再去物流商網站查配送進度,最後回你一句完整的答案。
02Q2:一個 Agent 由哪些零件組成
我習慣拆成四塊。第一,模型:負責理解目標與決定下一步。第二,工具清單:每個工具要有名稱、用途說明、輸入參數與回傳格式,例如 get_order_status(order_id)。第三,記憶:這次任務做到哪裡、之前查到什麼。第四,停止條件:做到什麼程度算完成、最多跑幾輪、遇到什麼情況必須轉給人。
企業導入時最常漏掉的是第四塊。沒有停止條件的 Agent,會在查不到資料時一直重試,或者在不該下判斷的地方硬給一個答案。
03Q3:公司現在該做聊天機器人還是 Agent
先做唯讀的。讓系統可以查詢內部文件、查庫存、查訂單狀態,但不能修改任何資料。這階段本質上是加了工具的聊天機器人,風險低,也能累積「員工都問些什麼」的紀錄。
等唯讀版本跑過一兩個月,查詢答對的比例穩定了,再挑一個寫入動作開放,例如建立草稿單據,送出仍由人按。這個順序可以讓你在出錯成本最低的時候學到最多東西。
04Q4:Agent 做錯事,責任算誰的
算公司的,所以權限設計要比照新進員工。新人到職第一週,你不會給他付款權限;Agent 也一樣,給它的 API 金鑰要限定範圍,能讀的資料表、能呼叫的端點都列白名單。
每一次工具呼叫都要留紀錄:時間、呼叫了哪個工具、帶了什麼參數、回傳什麼結果。我在做 SaaS、建 ISO 27001 制度那幾年學到的是,出事時能不能還原經過,決定了你是花半天還是花兩週處理。對外寄信、付款、改價格這三類,最後那個按鈕我建議一律留給人按。
05Q5:成本跟一般聊天機器人比起來如何
Agent 一個任務會呼叫模型好幾次,每一輪都要把前面的步驟和工具回傳結果一起送進去,token 用量是單次問答的好幾倍。算式可以這樣抓:每個任務平均輪數 × 每輪輸入輸出 token × 單價 × 每月任務數。
所以在估算之前,先把一個任務手動跑幾次,記下實際輪數,不要用「應該三步就好」去估。實測輪數往往比想像多,因為模型會在讀到不完整的回傳結果時多查一次。
06Q6:怎麼判斷一個流程適不適合交給 Agent
問三件事。需要的資料是不是都拿得到 API 或可讀取的檔案?步驟之間的判斷,資深同事能不能用文字講清楚?做錯一次的代價,是重做還是賠錢?前兩題答「是」、第三題答「重做」,就值得試。
反過來,如果流程的難點是跟人協調,例如跟客戶議價、跟其他部門搶資源,Agent 幫不上太多。它擅長的是在規則清楚的系統之間搬資料與查資料。