Zyphra 推咗個開源嘅 ZYFA,係針對 AMD Instinct MI355X 嘅 FP8 同 BF16 prefill attention kernel。Prefill attention kernel 係大語言模型(LLM)推理階段入面負責處理 input prompt 注意力計算嘅核心算子,決定咗推理階段嘅實際速度。

官方數據話,喺真實模型運行嘅輸入下,ZYFA 嘅 FP8 kernel 比 AMD 自家嘅 AITER 快 1.16 至 1.76 倍;喺 head dimension 128 嘅設定下,錯誤率比 AITER 低 62% 至 78%。

呢個係 AMD 加速卡陣營又一次出現第三方優化 kernel,而唔係廠商自家 stack。Zyphra 話 ZYFA 係開源,但本次材料未列出授權條款同完整開源範圍,部署前值得核對。

模姐驗嚇貨:速度同精度係廠商自報,未見第三方獨立測試;head dimension 128 以下嘅表現、BF16 版本嘅對比數字,材料都冇交代,等實際部署先至有得比。