多數中小企業的第一個 AI 專案,我建議先用商用 API,等用量與資料敏感度都看清楚,再評估要不要自架開源模型。自架聽起來省錢又安全,但它把成本從帳單搬到了人力與機器上。下面用三個選項、五個項目逐項比,你可以照自己的情況填。
01三個選項先講清楚
A.商用 API:直接呼叫模型廠商的服務,依 token 用量計費,模型由廠商維護與升級。B.自架開源模型:下載 Llama、Gemma 這類開放權重的模型,跑在自己的 GPU 主機或機房,資料完全不出公司。
C.雲端平台代管:在大型雲端供應商的平台上,選用他們代管的模型,資料留在你自己的雲端帳號與指定區域內。C 常被忽略,但對已經在用某家雲端的公司,它通常是隱私與維運之間最務實的折衷。選模型時,我們也會先排除來源有疑慮的模型,這點不分 A、B、C。
02比較一:成本結構
A 是變動成本,用多少付多少,沒有閒置浪費,但用量放大後線性上升。B 是固定成本為主,GPU 主機不管用不用都在折舊,還要加電費、機房空間與備援機器。C 介於兩者之間,多數按用量計,部分可以買保留容量。
判斷方法是算使用率。假設一台 GPU 主機一天能處理的請求量是 X,你的實際需求每天只有 0.1X,那十分之九的算力在閒置,自架幾乎一定比 API 貴。只有在需求穩定、長時間接近滿載時,B 的固定成本才攤得下來。先用 A 跑三個月,拿到真實的每日 token 數,這題才算得出來。
03比較二與三:資料隱私、維運人力
隱私:B 最強,資料不離開公司網路。A 要看廠商的企業方案條款,重點看三件事:輸入資料會不會被拿去訓練、保留多久、存放在哪個地區。C 的資料在你自己的雲端帳號,權限與稽核紀錄可以接到既有的資安制度。若公司有 ISO 27001 之類的制度,C 通常最容易寫進現有的控制項。
維運:A 幾乎為零。B 最重,要有人負責驅動程式與推論框架的版本、監控 GPU 記憶體、處理併發排隊、半夜當機時有人接。這個人通常不是現有 IT 兼著做得來的。系統架起來沒人顧,比當初不架更麻煩,因為業務已經開始依賴它了。
04比較四與五:品質與更新速度
品質:在需要長篇推理、複雜中文寫作的任務上,頂級商用模型通常仍領先同時期的開源模型;但在分類、摘要、欄位抽取這類範圍明確的任務,中型開源模型經過適當提示或微調,常常已經夠用。夠用就好,不需要每個任務都上最大的模型。
更新速度:A 會自己變強,也會自己變,廠商換版後同一個提示詞的輸出可能不一樣,要有回歸測試。B 版本由你決定,穩定,但要自己追新版本。C 兩者兼有,可以鎖定版本一段時間。不管選哪個,都要準備一組 50 到 100 題的固定測試集,換模型前後各跑一次。
05決策順序與退場條件
第一,資料能不能出公司?法規或合約明確禁止,直接看 B 或 C。第二,可以出,就先用 A 做出可用的流程,並把呼叫模型的程式包成一層介面,未來換模型只改一個地方。第三,三個月後看兩個數字:每日用量是否穩定、單月費用是否已經接近一台主機加一個維運人力的成本,接近了再評估 B。
反過來,選了 B 也要寫退場條件:如果主機使用率連續兩個月很低,或維運人員離職沒有接手的人,就回到 A 或 C。技術選型不是信仰,是一張隨用量變動的試算表。