移動機械人喺走廊見到人會減速,協作機械臂見到工人會放輕動作,人形機械人會暫停等待行人通過。呢啲「安全功能」看似可靠,但全部依賴一個前提:輸入係真嘅。VicOne LAB R7 喺 IEEE Spectrum 刊出嘅研究,正正拆開呢個前提。
輸入假咗,機械人照樣「按設計」行
研究指出,移動機械人可能讀到走廊「冇人」,實際上仲有人喺度;協作臂可能估錯工人距離;人形機械人喺行人穿越時收唔到停止訊號。呢啲偏差,可以是故障,都可以係刻意操控。
VicOne 嘅測試涵蓋多條路徑。喺一個機械狗測試入面,模型 Gemma 4 E4B 將海報上嘅文字當做指令,改變咗機械狗嘅移動。喺另一項醫院服務機械人模擬測試入面,運行喺 NVIDIA Jetson AGX Orin 上嘅 Nemotron,被人耳聽唔到嘅特製音訊改變咗模擬行為——任務不變,輸入變咗。
已刊研究已證明:視覺輸入可干擾任務
除咗自家測試,VicOne 引述已刊學術研究。喺視覺語言動作模型(VLA,Vision-Language-Action,結合視覺、語言同動作規劃嘅模型)研究入面,相機畫面入面一塊小貼片(patch)已令模擬測試中任務成功率下降。FreezeVLA 研究發現,敵對圖像可令受測模型忽略後續指令。兩項研究方法唔同,但都證明視覺輸入可干擾機械人預定任務。
資料圖片:Pixabay
獨立保護系統,都會被同一組數據騙
VicOne 強調,就算有獨立保護系統,系統本身都依賴讀數、估算同訊息。喺一個機械人漏洞賞金活動入面,VicOne 研究員向一台主辦方預期喺「安全控制模式」下保持靜止嘅機械人注入 ROS 2/DDS 訊息(ROS 2 係機械人開源操作系統,DDS 係其分散式訊息傳遞標準),機械人移動咗。
另一例:人形機械人嘅平衡控制器若依賴易受攻擊嘅陀螺儀,特定共振頻率嘅聲波可扭曲其轉動讀數,控制器會為一個「從來冇發生」嘅傾斜做補償。研究人員已對有漏洞陀螺儀嘅無人機演示過呢類聲學攻擊,但未對人形機械人演示過完整攻擊鏈。
刻意攻擊,改變「組合故障唔會發生」嘅假設
安全評估通常將多重故障同時發生視為低概率。但刻意操控改變呢個假設——攻擊者可揀選何時引入假輸入。VicOne 嘅核心提問:保護系統係獨立檢測危險,定係依賴同一組已被操控嘅資訊?
模姐驗嚇貨:呢篇研究值嘅唔係「又一個機械人會中伏」嘅 scare story,而係將「輸入可信度」呢個一直喺安全架構中缺位嘅前提,擺到桌面。VicOne 明確指出,聲學攻擊對人形機械人嘅完整鏈未喺該研究中演示,VLA 貼片同 FreezeVLA 嘅結論各依各嘅測試條件。呢種將「已證明」同「未證明」分開嘅寫法,值得其他廠商睇嚇跟嚇。
模姐|深度調教



