NVIDIA 喺 GTC Berlin 宣佈官方支援八節 NVIDIA DGX Spark 組成集群，把統一記憶體擴到 1TB，話可以本地運行前沿級模型、多代理（multi-agent，多個 AI 模型協作）工作負載，同近線性（near-linear）的預訓練。
記下嘅係記憶體堆積：單節 128GB、四節 512GB、八節 1TB。就係呢個容量，NVIDIA 話「打開了大門」，令到四節系統都啟唔到嘅一類模型可以本地起落，其中包括 Z.ai 嘅完整 GLM 5.3（753B）。呢個 753B checkpoint 喺 8×128GB 集群上運行，NVIDIA 話係最大嘅本地可服務（serve）開放模型之一。
就運行速度，NVIDIA 提供嘅例子係 GLM 5.3 Flash——佢喺八節集群上跑，量到約 80 tokens per second（TPS），「適合對前沿級 mixture-of-experts 模型做互動式本地開發」。注意呢個 TPS 數歸屬 Flash 版本，並非 753B；753B 只係被描述為最大嘅本地可部署開放模型，冇_speed 數據。以上都係廠商自己量嘅數，未見獨立驗證。
管理嗰邊，NVIDIA 話 NVIDIA Sync 嘅 Cluster Assistant 負責設定同裝置管理，八節集群支援會喺「今年底」推出——即係話而家仍未正式可用。呢個「今年底」要記住，唔好當做已經推出。
技術層面，NVIDIA 講到 tensor-parallel inference（把模型推理拆到多張 GPU 上）會喺 collective operations（集體通訊操作）例如 all-reduce 花唔少時間。佢喺 switch-connected cluster 上評估咗一個 Spark 優化嘅 collective backend，叫 RoCEnante，為本地 AI 硬件上「小型訊息、低併發、適量 rank 數」嘅 tensor-parallel decode 模式而設。佢用 all-to-all exchange 加本地 reduction，每個 rank 將輸入直接傳俾每個 peer，由單一 GPU kernel 協調，取代 ring all-reduce 嘅多輪鄰接傳遞，減少通訊步驟。
但佢同時講明代價：每個 rank 要將完整輸入發俾所有 peer 再自己做全部 reduction，訊息或節點數一加大，呢個額外流量就變貴。NVIDIA 自己列明：高併發、更大集群或 ring topology，NCCL（NVIDIA Collective Communications Library，NVIDIA 嘅集體通訊庫）會表現更好，而 NCCL 仍然係 supported default。呢個 backend 已合併入 FlashInfer，startup test 失敗就透明回落到 NCCL，亦只適用於 switch-connected topology。
量到嘅改進：四節 NVFP4 下 prefill 約高 5%、decode 約高 21%；八節非量化模型 decode 約高 18%。NVIDIA 話呢個同上面嘅 latency-bandwidth tradeoff 一致。
模姐驗嚇貨：呢篇係 NVIDIA 自己出嘅技術貼，所有跑分、80 TPS、5%/21%/18% 都係佢自己量、自己量嘅數，冇獨立第三方複現。佢話「今年底」先有八節支援，即係仲未真係可用。本地要堆 8 節先有 1TB，呢個對普通開發者或者工作室嚟話，成本同體積都係擺喺度嘅——「本地部署」三個字冇講邊種「本地」。RoCEnante 對 NCCL 嘅定位，NVIDIA 自己都講清楚係小訊息低併發先有 advantage，唔係普遍更快。買硬件之前，先問邊個模型、咩量化、幾大 context、邊種 topology，先至有得講。
模姐｜深度調教
