人形機械人想學識保持平衡、移動、同物件互動，首先要解決「食乜先得」嘅問題。Noitom Robotics 透過 IEEE Spectrum 同 Wiley 放出一篇白皮書，介紹一個名做 HiPHI 嘅大規模動作捕捉數據集，話要填補嗰個卡住人形機械人學習嘅「數據缺口」。
白皮書指出，現有培訓數據有兩個硬限制：互聯網影片雖然行為多樣，但係捕捉唔到精確嘅物理狀態；而實驗室嘅動作捕捉系統雖然準確，通常只覆蓋咗很窄嘅動作範圍。HiPHI 正正針對呢個缺口。
呢個數據集總共 617.5 小時嘅全身人類動作，用光學動作捕捉（optical motion capture）喺亞毫米級精度（sub-millimeter accuracy）錄製。入面有 245.7 小時係「人-物互動」（human-object interaction）數據，附有同步嘅物體軌跡（object trajectories）同 3D 網格（meshes），可以用嚟教機械人搬運（carrying）、推（pushing）、拉（pulling）等實際任務。
最值得一提，係佢用咗 FrameNet——一個為人類動作而設嘅語言學框架（linguistic framework for human action）——嚟組織覆蓋範圍，系統化覆蓋廣泛嘅全身動作，而唔係隨機錄嘢。
白皮書仲介紹咗一套基準測試（benchmark suite），專門量度動作多樣性（motion diversity）同互動對準（interaction grounding）。白皮書話用呢個數據集訓練嘅強化學習（reinforcement learning）策略會隨規模改善，並透過模擬到實體轉移（sim-to-real transfer）部署喺一台實體 Unitree G1 人形機械人上。
模姐驗嚇貨：用語言學框架去組織動作捕捉，思路係聰明，避免「錄咗成堆都唔知有冇漏」。但數據集大唔代表樣樣得，關鍵係 benchmark 夠唔夠獨立、sim-to-real 落差有幾大。呢度係廠商出嘅白皮書，具體成效數字同測試條件，要等獨立第三方數據先至算數。機械人示範動作亦唔等於已可商用。
模姐｜深度調教
