本地跑大模型（local LLM），就係喺自己部電腦入面運行大型語言模型，唔使將資料傳去雲端。呢個思路喺私隱敏感嘅人入面好吸引人，但個代價係硬件。
佢開箱嘅主角係 Apple M5 Ultra Mac Studio，配備 256GB 統一記憶體（unified memory）。有咗呢個記憶體量，理論上可以跑幾乎任何模型。佢揀咗開源、自託管嘅 Hermes Agent（支援 macOS／Windows／Linux，用本地 LLM 免費），再喺入面揀咗 Qwen 3.8 Flash Next——1250 億參數、約 105GB 嘅模型。
佢仲話之後會喺 M6 Mac Mini、M5 MacBook Air、AMD Strix Halo 處理器嘅 Asus TUF Gaming A14 同即將推出、最高 128GB RAM 嘅 RTX Spark Windows 機器上，試些更小嘅 Qwen 模型做比較。Apple 亦喺新 Mac 桌面線嘅賣點入面，將本地 AI 擺喺突出位置。
設定唔算太耐，佢仲接咗一個 Telegram bot，可以用手機控制。然後就係「日常晨報」任務：用 cron job（定時任務）掃電郵同日曆，話畀佢知有乜要注意。佢自己評價呢個過程係「興奮、頭大、煩躁」。
模姐驗嚇貨。本地 AI 呢條路，唔同雲端訂閲最關鍵嘅分別，就係資料留喺自己部機入面——呢點對私隱敏感嘅用户係真正嘅賣點。但要記住幾樣嘢：一，本地唔代表零成本，256GB 統一記憶體嘅硬件門檻唔低，且本地推理無按 token 計費，但電力、時間同硬件折舊都要算；二，「用本地模型」唔等於「無風險」，模型本身嘅安全、偏差、錯誤輸出都要照樣查；三，開源／開放權重要分清，Qwen 嘅授權條款要照樣睇，唔好將「下載得到」當「完全開放」。呢單係 The Verge 主筆嘅第一手測試日記，唔係本站實測，佢嘅體驗有參考價值，但唔代表本站獨立結論。
本地 AI 嘅甜，係「個掣喺自己手上」；本地 AI 嘅痛，係「個掣要幾多錢先搞得掂」。想知邊度真係用到，跟住讀。
模姐｜深度調教
