Aleph Alpha 發布開放權重模型 Kolibri。呢個係 78.1B 參數嘅 Mixture-of-Experts（MoE，專家混合）架構模型，每生成一個 token 只激活 3.46B 參數，配備 100 萬 token 上下文，支援每次請求可調推理力度（per-request reasoning effort）。權重以 Apache 2.0 授權、FP8 格式發布，單一 B200 或 H200 GPU 即可運行。
MoE 即 Mixture-of-Experts，模型入面有多組「專家」子網絡，每個 token 只由相關專家處理，唔需要全部參數同時啟動。78.1B 總參數但每 token 只動 3.46B，理論上推理時嘅計算量同記憶體需求，同同規模 dense（稠密）模型差異明顯。
FP8 係 8-bit 浮點量化格式。Kolibri 用 FP8 權重加 MoE 稀疏激活，單一 B200 或 H200 就夠，呢個對冇龐大算力資源嘅團隊嚟講，部署門檻大幅降低。
100 萬 token 上下文意味着可以處理極長文件。每次請求可調推理力度，用户可以視任務複雜度決定模型投入幾多推理資源。呢個係英文同德文雙語模型。
Apache 2.0 開放權重，但訓練數據、預訓練代碼、方法論是否同步公開，目前未載明。開放權重（open weights）同完整開源（fully open source）係兩回事：前者指模型權重可以免費下載同使用，後者還包括訓練數據、訓練代碼同技術方法。呢度必須分清。
呢個係廠商發布訊息。78.1B、3.46B、1M context、FP8、單卡 B200/H200，全部數字出自 Aleph Alpha 官方。
模姐驗嚇貨：MoE 稀疏激活係近兩年熱門方向，78B 只動 3.4B 呢個比例值得關注。但「慳」唔等於「勁」，激活參數少唔代表知識密度或者推理質量跟 dense 模型打和。單卡 B200 跑 78B 對中小團隊係實際利好，但實際吞吐、延遲、長上下文表現，仲要等獨立測試先至有結論。權重放咗出，Apache 2.0 條款係咪真嘅無隱藏限制，商用範圍有冇另設門檻，都要逐字核對。
模姐｜深度調教
