Hugging Face 今(20)日喺官方 blog 宣佈,本地模型框架 AnyLanguageModel 正式推出 1.0 版,連同 swift-huggingface 1.0 同 swift-xet 1.0 一齊更新。呢個框架過去一年經歷咗幾十次更新,核心概念唔變:用 Apple 嘅 Foundation Models API,配你部機裝得落、你 app 用得嘅模型。

最大嘅改進,係同一份 session 程式碼,唔理你跑喺邊個模型,都通用。由系統原生模型,到經 llama.cpp、MLX、Core ML 運行嘅開放權重模型,再到一連串雲端服務,都係同一套代碼。換個 provider,改個 import 就得。

雲端支援面亦大幅擴張。除咗 OpenAI 嘅 Chat Completions 同 Responses API,仲有 Anthropic Messages API、Google Gemini API、Ollama、OS 27 嘅 Private Cloud Compute,以及 Hugging Face Inference Providers 同其他 OpenAI 相容端點(例如 OpenRouter,用自訂 base URL)。

呢套框架今年加咗幾項重大功能:

  • 工具調用(tool calling):所有 provider 通用
  • 引導生成(guided generation):所有 provider 通用,支援 nested @Generable 型別同陣列
  • 圖像支援:可用 Foundation Models 27 語法將圖片附加到 prompt,喺 iOS、macOS、visionOS 27 用系統模型都適用

推理記錄(reasoning)亦納入 transcript;當切換 provider,若新 provider 無法重放(replay),推理區塊會自動從請求中略過。API key 改由 closure 提供,app 可以從自己嘅 server 攞短效 token。

本地模型嗰邊,官方列出幾個最多人下載:

  • Gemma 4 E2B(Google):GGUF,約 3.4 GB(Q4_0,量化感知訓練)
  • LFM2.5 2.6B(Liquid AI):GGUF,約 1.7 GB(Q4_K_M)
  • Qwen3.8 27B(阿里巴巴,MLX):約 16 GB(4-bit)

頭兩個裝得落 iPhone;Qwen3.8 27B 喺 32 GB RAM 嘅 Mac 運行。選個 MLX 模型,一行代碼:let model = MLXLanguageModel(modelId: "mlx-community/Qwen3.8-27B-4bit")。

而若你有四部滿配 Mac Studio,GLM-5.3(Z.ai)喺 BF16 精度下約佔 1.5 TB。

模姐驗嚇貨:呢個框架嘅意思,係將「邊個模型適合你嘅 app」呢個選擇權交返俾開發者,而唔係鎖喺特定供應商。本地小模型同雲端大模型各有其位;1.7 GB 喺部 iPhone 上跑,同 1.5 TB 喺四部 Mac Studio 上跑,係同一套語法。開放權重模型由 Hub 下載,swift-huggingface 同 swift-xet 處理加速;本地跑唔掂,就過到雲端,代碼唔使改。模型自由呢嘢,終於有嘢實地支撐住。