AI 助理若能修改訂單、寄信、退款或刪除資料,錯誤就不再只是一句回答。本文用五項驗收問題,協助企業確認操作範圍、身分權限、人工核准、重複執行與追溯回復,判斷哪些工作可自動化,哪些必須留在人手上。
客服主管請 AI 助理整理退貨原因,試用幾週後,廠商提議再接上訂單、信箱與客戶系統,讓它直接改地址、寄折價券,甚至處理退款。畫面仍是一個對話框,但企業承擔的責任已經不同:回答錯了可以攔下來重寫,動作做錯了,可能已經通知客戶、改動庫存、重複退款或留下難以對帳的紀錄。
可以把它想成一位原本只整理便條的新同事,現在拿到了收銀機、印章與倉庫鑰匙。問題不只是他聽不聽得懂,而是哪些門能開、一次能做多少、重要動作要誰點頭,以及出錯後能不能停下與復原。
能回答問題,和能改動系統是兩種責任
代理型 AI(agentic AI)是能依目標選擇步驟,並呼叫外部工具完成工作的人工智慧系統。這裡的工具可能是 API,也就是讓不同系統依規則交換資料的介面,例如讀取訂單、建立客服工單、寄信或更新會員資料。
一旦接上工具,模型輸出就可能變成實際動作。OWASP(開放全球網頁應用程式安全計畫)把功能太多、權限太大與自主程度太高,列為「過度代理權」的主要成因。它也提醒,下游系統仍應自己檢查每次操作是否被允許,不能只相信 AI 在文字中判斷「我可以做」。
因此,採購時不能只看回答正確率或示範影片。企業要驗收的是整條操作鏈:誰提出要求、AI 可選哪些工具、系統用誰的身分執行、何時需要核准、結果如何記錄,以及失敗時怎麼處理。
用五個問題驗收「AI 可以幫你做完」
- 它真正需要哪些動作? 把讀取、建立、修改、寄送、退款與刪除分開。只需要查訂單,就不該同時取得改價或刪單能力;已停用的測試工具也要移除。
- 每次操作代表誰的權限? 確認 AI 是沿用提出要求者的權限,還是共用一個高權限帳號。業務只能看自己的客戶時,AI 不應因為共用連線而讀到全部名單。最小權限的意思,就是只提供完成指定工作所需的最低能力與範圍。
- 哪些動作必須由人核准? 退款、刪除、對外寄送、價格變更與大量修改等高影響動作,應在執行前停下。核准畫面要清楚顯示對象、原值、新值、金額與影響,不能只出現一個模糊的「是否繼續」。人工核准能降低風險,但不能取代清楚資訊與權限限制。
- 重試會不會做兩次? 網路逾時時,AI 可能不知道第一次是否成功而再次呼叫。要用測試證明同一退款、通知或訂單變更不會重複發生。這種讓同一請求重送仍只產生一次結果的設計,稱為冪等性。
- 能不能追查、停止與回復? 紀錄至少要連起提出者、AI 使用的工具、重要參數、核准者、執行結果與受影響資料。團隊也要知道誰能立即停用工具或撤銷連線。可逆動作要定義回復方式,不可逆動作則要把預防與人工核准放在前面。
明顯警訊包括:廠商只展示成功案例、所有工具共用管理員帳號、按一次同意便永久授權、失敗後只會自動重試,以及操作紀錄只留下聊天內容,卻沒有實際改了哪一筆資料。
預算有限時,先買建議能力,不必一次買自主權
最低風險的起點,是讓 AI 讀取核准範圍內的資料並產生草稿,由員工確認後在原系統執行。速度提升較有限,但能先找出資料缺口與例外。下一步可把固定、低影響、可回復的流程自動化,例如建立內部待辦,而不是直接寄給客戶。
需要跨系統完成工作的方案,才值得加入獨立身分、細分權限、核准節點、重複防護、用量限制與操作稽核。Google Cloud 的代理型系統設計指引也建議,關鍵動作採用人在流程中的核准;若任務本來就可用固定步驟完成,未必需要讓 AI 自行決定整段流程。更高自主性可能縮短處理時間,同時也增加例外設計、測試與監測成本。
便宜方案少的,常不是模型能力,而是上述控制。若報價只寫「可串接訂單與客服」,要繼續追問是否包含權限分層、核准介面、失敗處理、測試環境、操作紀錄與上線後監測,否則企業很難判斷省下的是功能,還是必要的安全邊界。
今天先做一張動作清單,再決定是否開放
先選一條實際流程,例如退貨客服,把每個動作寫成一列:讀取什麼、會改什麼、影響誰、最高金額或筆數、誰核准、能否撤回、失敗時通知誰。再分成「只建議」「可自動執行」「必須逐次核准」「禁止」四類。
接著用假訂單測試允許與拒絕兩面。除了證明一般訂單能處理,也要測試超過金額、跨門市、重複送出、權限不足、資料缺漏、連線逾時與中途停用。NIST 的 AI 風險管理核心強調,人與 AI 的角色、監督方式與使用範圍需要被定義、測試並留下文件。一次漂亮示範不能取代這些失敗情境。
自行處理的邊界與接洽準備
如果 AI 只讀公開資料、產生內部草稿,且員工仍在原系統逐筆確認,企業可先自行建立動作清單、指定負責人並用假資料測試。若系統會退款、刪除資料、改價格、變更訂單、對外寄信,或同時連到多家供應商,就需要流程負責人、權限管理者與技術團隊共同設計授權、核准、重試、紀錄與回復。
接洽前可準備流程圖、代表角色、預計開放的工具、最高金額或筆數、必須人工判斷的例外、測試帳號、不可接受的後果,以及現有操作紀錄。邊境部署可以協助把「希望 AI 幫忙」拆成可授權的動作、核准節點與驗收案例;若固定流程或人工草稿已足夠,也會先把不需要的自主性拿掉。
