由英偉達同麻省理工學院研究人員組成嘅 Efficient-Large-Model 團隊,近日喺 Hugging Face 發布咗影片增強項目 Open-H3-Regenerate-2K 嘅模型權重,配套推理代碼喺 NVlabs/Sana 倉庫開放。

呢個方案基於 MiniMax H3,功能係將低分辨率影片草稿重新生成為高分辨率版本,支援 2560×1440 嘅 2K 輸出,最高可達 3840×2160 嘅原生 4K 重生成。

技術上,團隊喺訓練階段保持 H3 Transformer 主幹同影片 VAE(變分自編解碼器,負責影片壓縮同還原)嘅原有參數不變,只訓練新增嘅細化 LoRA(低秩適應,一種輕量微調技術)。推理時,細化 LoRA 會同 LightX2V FL2VA Turbo、LMS Sharp 等社群適配器合併使用,經三步去噪喺目標分辨率下重新生成畫面細節。

為咗提高推理效率,項目採用社群開發嘅潛空間放大器,直接放大影片嘅潛態表示,減少高分辨率下重複解碼、編碼嘅開銷。同時結合 SoL-Engine 嘅稀疏注意力、低精度計算同快速 VAE 解碼器,對細化同解碼環節進行加速。

團隊公佈嘅測試顯示,喺單張 NVIDIA B200 GPU、預熱後嘅測試條件下,一段約 5 秒影片嘅潛空間放大、三步細化同 2K 解碼合計耗時,由未優化版本嘅 87.26 秒降至 22.45 秒,處理速度約為原嚟嘅 3.9 倍。其中快速解碼器將影片解碼耗時由約 15 秒降至約 1.6 秒。

畫質方面,團隊喺 RefinerBench-150 上做咗對比評測。喺相同輸入、相同 2K 輸出條件下,Open-H3-Regenerate-2K 喺感知質量評測 UniPercept 上平均得分 60.0,官方 H3-Regenerate-2K API 為 53.4。VBench 評測中,該方案喺美學質量、成像質量同主體一致性得分較高,官方 API 喺運動平滑度同動態程度上仍略優。

MiniMax H3 喺今年 8 月開放權重後,圍繞佢嘅微調、蒸餾同工具適配迅速增加。一個月內下載量超過 2400 萬次,產生超過 300 個公開衍生模型,成為 2026 年全球下載量最高嘅模型之一。

除咗今次嘅影片增強方案,英偉達同 MIT 聯合團隊仲發布咗基於 H3 Ref2VA 建構嘅串流影片渲染模型 StreamRender-H3,以及由 H3 影片 VAE 蒸餾而來嘅快速解碼器 Sol-H3-VAE。

B200 GPU 係英偉達自家硬件,由英偉達團隊喺自家晶片上測試自家參與嘅模型,呢個條件本身已經講明。4K 重生成聽落勁,但「最高實現」四個字代表呢個係理論極限,實際可用性仲要有獨立測試先至講得準。

模姐|深度調教