點睇呢個嘢

今個星期 NVIDIA 喺 Hugging Face 發布 Cosmos3-H-Dreams，一個用生成式模型（generative model）模擬手術過程嘅系統。唔係傳統嘅「數值模擬」（numerical simulation），即逐格逐格算幾何同力學，而係直接由同步影片同機械人運動學（kinematics）紀錄入面，學出視覺動態。

簡單講，佢唔係「算」到組織會點樣變形，而係「睇」夠多手術影像後，學到點樣預測下一幀會點。

由桌面到人體

第一版 Cosmos-H-Dreams（基於 Cosmos-Predict2.5）只做桌面縫合（dVRK tabletop suturing），背景簡單、互動有限。呢次 Cosmos3-H-Dreams 上到 CMR Surgical Versius 平台，用臨床膽囊切除（cholecystectomy）錄像做訓練。NVIDIA 稱，佢哋知到，呢個係首個專為臨床膽囊切除錄像訓練、支援即時運動學控制嘅生成式手術模擬器。

由「桌面」到「人體」，難度差唔止幾級。人體入面，器械一拉，組織就會伸展；一遮，就變暗；燒灼煙出嚟，視野就變。佢哋指，生成式模型喺生成新影片區塊時，必須保持解剖結構同器械嘅一致性（temporal consistency），否則細錯會逐幀累積，慢慢「走樣」。

技術底層

Cosmos3-H-Dreams 建喺 Cosmos3-H-Embodied-Nano（160 億參數）之上，呢個底層模型喺 Open-H-Embodiment 上預訓練過。再喺精選嘅膽囊切除影片同運動學數據上做特化。

訓練細節：

  • 28 個動作維度（雙臂姿態、夾具、能量控制、搖桿）
  • 訓練影片 832 x 480，動作對齊 10 Hz
  • 教師模型先學 24 幀（2.4 秒）再擴展到 72 幀（7.2 秒）
  • 經蒸餾（distillation）變成因果學生模型，可串流式生成
  • 推理端由 NVIDIA 自家嘅 FlashDreams（加速串流推理庫）驅動
  • 單張 RTX PRO 6000 GPU 即可即時運行

模姐驗嚇貨

有幾樣嘢要記住：

呢個係 NVIDIA 嘅單邊技術公告。 冇獨立第三方評測，冇公開 benchmark 數字。NVIDIA 自己話「視覺真實係驗證嘅起點，唔係生物力學準確嘅證明」呢句都好誠實，但亦即「真實」同「準確」仲有距離，冇人知邊個先真係達標。

用臨床錄像做訓練，有冇病人同意、有冇通過 IRB（機構審查委員會）審批，原文完全冇講。 呢個係醫療 AI 嘅底線問題，唔係可以跳過嘅細節。

「首個」係自我宣稱。 原文寫「to our knowledge」，即「就我哋所知」，冇任何獨立查證。

冇商用日期、冇授權條款、冇開源。 目前純研究預覽，距離任何醫療部署仲遠。

跟住睇乜

  • 有冇獨立團隊重現佢嘞生成結果？
  • CMR Surgical 係咪公開支持呢個合作？
  • FlashDreams 係咪開放，定係鎖喺 NVIDIA 硬件先跑得？

模姐｜深度調教