快速答案

AI 可以提出建議、排出優先順序,甚至觸發現場任務,但責任不能因此交給模型。真正可靠的自動化要有一條看得見的責任鏈:誰設定規則、誰核准高風險動作、誰能暫停或撤回、受影響的人向誰申訴,以及事後能不能還原當時用了什麼資料、做了什麼判斷。

人不必逐筆批准所有低風險任務;但在會影響安全、權益、金錢、隱私或通行權限的節點,必須有具備脈絡、時間與權限的人,真的能夠改變結果。

晚上兩點,一位旅客傳訊息說房門打不開。系統讀完對話,判斷是門鎖故障,建立維修工單,通知夜班人員,並準備發出新的行動鑰匙。這條流程看起來很有效率,卻同時藏著幾個決定:旅客身份確認了嗎?問題是門鎖、手機,還是房號判斷錯誤?新的通行權會不會覆蓋舊權限?如果開錯門,誰能在動作發生前按下暫停?

AI 從「回答問題」走到「推動事情發生」之後,人最不能消失的地方,正是建議變成行動的那一刻。

AI 建議、人工覆核、現場執行、使用者申訴與稽核紀錄串成一條責任鏈
AI 建議、人工覆核、現場執行、使用者申訴與稽核紀錄串成一條責任鏈. 圖片來源: Cellbedell / AI 生成責任鏈概念圖

把人留在迴圈裡,不等於多一個確認鍵

很多系統會用「human in the loop」證明自己有人把關。但如果覆核者只能看見一個分數、沒有原始資料、沒有時間查證,也沒有權限拒絕,那個人比較像替自動化蓋章,不是真正的監督者。

歐盟 AI Act 第 14 條對高風險 AI 的要求很具體:系統要能被自然人有效監督;被指定的人應能理解能力與限制、留意過度依賴輸出的「自動化偏誤」,並在需要時忽略、推翻或反轉輸出,也能中止系統。這裡的重點不是每個地方都套用同一個法規門檻,而是它說清楚了一件設計常識:人工覆核必須有資訊、有能力,也有實際控制權。

因此,一個好的「請確認」畫面不只顯示 AI 建議。它還要回答:建議用了哪些資料?信心不足在哪裡?如果接受,下一步會改變什麼?如果拒絕,能選擇替代方案嗎?如果來不及判斷,能先暫停嗎?

責任鏈要留下五個不會消失的節點

在旅宿、物業與辦公室,自動化工作可以拆成五個節點。每一個節點都應該找到一位或一個明確團隊,而不是最後只寫一句「由 AI 處理」。

  • 建議: 系統可以分類、預測、推薦,但要保留輸入來源、規則或模型版本,以及建議送出的時間。
  • 覆核: 高風險任務要交給具備場域知識的人;覆核者能看見必要脈絡,也能拒絕或改判。
  • 執行: 開門、發卡、派工、退款或調整門禁範圍,要受到最小權限、時間限制與可撤回機制約束。
  • 申訴: 被拒絕、被鎖定或受到錯誤影響的人,必須找得到真人,補充資訊並要求重新判斷。
  • 稽核: 事後要能回答誰在何時依據什麼資料做了決定、系統執行了什麼,以及後續如何修正。

OECD 在 2024 年更新的 AI 原則把「可追溯性」放進問責要求:資料集、流程與生命週期中的決定,都應在適合情境的程度上留下線索,讓人能分析輸出並回應詢問。NIST AI RMF 也強調,風險管理不只是模型測試,而是組織要建立角色、責任與治理機制。換句話說,責任不該集中在最後一位按下確認的人;產品負責人、資料提供者、系統供應商、部署單位與現場主管,都有各自能控制的部分。

不是所有任務,都需要相同的人工作用力

一間旅館讓 AI 把「多一條毛巾」轉成房務工單,風險通常低;如果它要替旅客換房、重發門鎖權限或承諾退款,就需要更嚴格的身份確認與人工核准。

物業系統可以依感測器訊號安排空調檢查,但如果要停用設備、進入住戶空間或判定費用歸屬,現場人員就不能只照著排序表執行。辦公室門禁可以提醒異常刷卡,但停用員工權限牽涉工作權益與安全,也需要清楚的升級路徑。

這表示人工監督不是固定的一道門,而是隨後果升高而加強的設計。低風險工作可以抽樣檢查;可逆但有成本的工作,可以先執行並立即通知;涉及人身安全、重大金額、隱私或權益的工作,則應在動作前取得明確授權。真正的效率,不是把所有事情都自動化,而是把人的注意力留給最難挽回的地方。

申訴不是客服尾端,而是決策系統的一部分

當自動化判斷影響一個人,錯誤往往不是「重新整理頁面」就能解決。旅客可能被拒絕退款,訪客可能拿不到通行權,員工可能被系統標記成異常。此時,如果唯一入口仍是同一個聊天機器人,申訴只是被送回原本的迴圈。

英國資訊專員辦公室在討論 agentic AI 與自動化決策時,要求組織考慮如何清楚告知自動化的使用、讓人能提出異議,並讓真人有效且有意義地介入。關鍵字是「有意義」:真人覆核應能取得新資訊、重新衡量情境並改變結果,而不是只把系統答案換句話說。

因此,申訴介面應該和執行介面同時設計。系統在發出拒絕、停權或費用決定時,就要附上可理解的理由、聯絡入口、處理時限與目前狀態;組織也要觀察哪些決定反覆被推翻,把它當成修正資料、規則與流程的訊號。

企業不能把自動介面當成另一個負責的人

2024 年的 Moffatt v. Air Canada 裁決,是一個很直接的提醒。旅客依照 Air Canada 網站聊天機器人提供的喪親票價資訊購票,後來才發現規則不允許事後申請。裁決沒有說明該聊天機器人的技術性質,因此不宜把案件簡化成生成式 AI 的判例;但裁決對責任的判斷非常清楚:聊天機器人仍是 Air Canada 網站的一部分,公司不能因資訊由自動介面提供,就把它當成獨立承擔責任的主體。

這個案例和旅館客服、物業派工或辦公室自動化的共同點是:使用者看到的是同一個服務品牌。組織可以採購模型、串接平台、委外開發,但對外做出的承諾與實際執行,仍需要有人負責驗證、監控與修正。

自動化成熟的標誌,是人能在必要時回來

好的 AI 工作流,不會要求人監看每一秒,也不會假設模型永遠正確。它會先定義哪些決定可以自動通過,哪些必須抽查,哪些一定要真人核准;它會讓權限和風險相稱,讓異常可以暫停,讓動作可以撤回,讓受影響的人可以申訴,也讓每次事件留下足夠但不過度的紀錄。

AI 可以幫忙看見訊號、整理選項、縮短等待,甚至完成大量例行任務。人的價值則不只是在最後負責,而是在一開始決定什麼可以交出去、過程中知道何時應該介入,以及事情出錯時願意回到現場,理解影響並把流程修好。

自動化真正不能省掉的,不是一雙一直盯著螢幕的眼睛,而是一個有名字、有權限、也找得到的負責位置。