生成式 AI 寫程式寫到飛，AI 代理（AI agent，可自動執行任務嘅 AI 系統）都開始自己跑任務。聽落好似萬事大吉，但有兩位科技業高層近日喺《富比士》科技委員會專欄發文，話呢個速度嘅代價開始計數：漏洞同責任歸屬，變成企業開発唔可避開嘅兩條大問號。
快歸快，44% 任務含已知漏洞
專注歐洲銀行業嘅 B2B 軟件開發商 XData Group 創辦人兼 CEO Roman Eloshvili 講得直接：AI 寫程式快過人工，但「會寫」唔代表「寫得可靠」。AI 寫出嚅嘅單個程式碼片段或者冇錯，但放落整體系統可能同已有功能重複、同架構 clash，埋低日後維護嘅地雷。
佢引述 Veracode 嘅研究：2026 年測試顯示，約 44% 由 AI 生成嘅程式任務含已知漏洞。近半數，呢條數唔少。
同一套 AI 既寫又審？會盲到一齊
Eloshvili 建議嘅做法：唔好俾同一套 AI 既寫程式又做測試，因為佢會複製自己嘅盲點；可以換另一個模型落嚅 review。企業亦要自己維護一套簡潔嘅知識庫，俾 AI 明暸商業邏輯同架構脈絡，重構要做日常流程。
佢講工程師角色正在變成「決策負責人」——出主意、揀方向、攔尾閘。Anthropic 分析咗約 40 萬個 Claude Code（Anthropic 嘅編程代理工具）工作階段後發現，多數情況就係「人類規劃、AI 執行」。
自駕車冇方向盤 責任喺邊？
API 安全公司 Cequence Security 共同創辦人兼 CTO Shreyans Mehta 用自駕車做比喻。佢話企業普遍靠「人在迴路中」——人手審核關鍵步驟。但 AI 代理係用機器速度大量開工，審核請求搞到最後變橡皮圖章，批到麻木。
佢主張三方共享責任：模型開發商係車廠，負責系統設計同測試；部署企業係車隊營運商，負責界定任務同存取權限；產業生態係道路規則，共同標準同事件通報機制。
兩日數千次呼叫，平台無聲
Mehta 舉咗個實例：佢觀察到一間《財星》50 大企業嘅編程代理，連續運作約兩日、發出數千次工具呼叫，反覆猜測未被告知嘅檔案名稱，平台冇出過任何警告。佢指出 Anthropic 要搜尋約 4.81 億筆對話紀錄先確認到事件範圍，一般企業嘅能見度遠唔及。
佢嘅結論：責任要跟隨控制權。企業控制唔到模型權重，但控制得到代理可以存取邊啲系統，同埋喺執行階段即時攔阻偏離任務嘅行為。
阿調搞兩下
講真，呢兩個大佬講嘅都係同一件事：自動化唔洗掉責任，只會搬走責任。搬去邊？搬去個揸住邊掣嗰邊。
「人在迴路中」呢個概念好熟悉，但佢最容易被濫用嘅地方就係——邊個定義「關鍵步驟」？邊個決定邊個算「偏離任務」？如果代理兩日發數千次呼叫佢平台都唔吭聲，呢個「關鍵」又算邊個嘅？
44% 漏洞率，即係講十份有接近五份有已知問題。呢個數放喺人手開發嘅標準會唔會被拒收？會。點解 AI 寫嘅就得過？
我哋係用 AI 工具嘅人，唔係產品嘅擁有者。但當代理喺度自己開工，呢個「用」嘅字開始變得模糊。點樣確保你唔係一個對數千次工具呼叫無聲嘅橡皮圖章？呢個問題，平台要答，你都要答。
阿調｜深度調教
