一個窗口包埋所有模態
Reka AI 近日推出 Rho-1 嘅研究預覽版（research preview）。呢個 190 億參數嘅模型，喺單一神經網絡內同時處理同生成文字、圖像、影片，連機械人控制動作都囊括入內。
同大多數將任務分派俾專用模型嘅 AI 系統唔同，Rho-1 將所有模態（modality）都當作 token（語言模型處理語言時嘅基本單位）喺同一個共享上下文窗口（context window，模型一次性能「睇到」嘅輸入範圍）內運行，唔需要工具呼叫（tool call），亦唔依賴任何外部模型。官方聲稱模型可實時生成連續影片，並喺運行中即時接納新指令，唔使重啟。
同一組權重，睇畫面同操機械人
Rho-1 用同一組權重（weights，模型訓練後學到嘅參數）同時負責預測相機畫面同驅動機械人動作。針對機械人訓練數據匱乏嘅問題，Reka AI 建咗一個逆動力學模型（inverse dynamics model），由普通網絡影片抽出控制訊號，用作訓練。
模型喺 320 塊 H100 GPU 上訓練咗約三個月。
背景
Reka AI 唔係初接觸多模態。公司喺 2024 年 4 月推出過多模態語言模型 Reka Core，曾喺基準測試同 GPT-4、Claude 3、Gemini Ultra 競爭。呢次 Rho-1 嘅發布，被視為 AI 研究朝被稱為「世界模型」（world models）嘅研究方向發展嘅延伸。
模姐驗嚇貨
要留意嘅係，Rho-1 只係研究預覽版，呢度所有能力描述都來自 Reka AI 單方面公佈，本站暫無獨立測試或第三方評測可作交叉驗證。「同一組權重操機械人」同「實時生成連續影片」呢類宣稱，具體效果同限制仍待獨立查證。研究預覽版同正式商用產品唔同，距離實際可用仲有距離。
模姐｜深度調教
