NVIDIA 技術部落格週五（10月30日）刊出一篇教學，教開發者點樣喺自家邊緣（edge）設備上快速部署大型語言模型（LLM，即可以理解同生成自然語言嘅模型）。
官方嘅講法係：AI 應用正由資料中心滙入車載駕駛員注意監測、機械人環境感知、產線協作等「實體 AI」場景，呢類應用嘅模型要喺有限嘅記憶體、功耗同延遲預算下運作。而模型部署所需嘅環境配置，以往可能涉及大量設定步驟；新工具將呢個流程壓縮到數行指令。
教學嘅核心係 NVIDIA TensorRT Edge-LLM，一個專為嵌入式工作負載設計嘅 C++ 推理運行時（inference runtime，負責將訓練好嘅模型轉換成可喺硬體上實際跑嘅編譯格式），喺 DGX Spark 開發板上跑開發原型，再將同一套框架搬到 Jetson Thor、DRIVE AGX Thor、IGX Thor 等平台。
實際流程係用名為 trtedge 嘅 command-line interface（CLI，終端機指令列工具）：開發者輸入模型名稱，CLI 自動下載模型、生成針對目標硬體優化嘅 TensorRT engine（引擎，即編譯後可執行推理嘅二進位檔案）。文中以 NVIDIA Nemotron-3.5 Lightning（一個純文字模型）為示範，首次啟動需下載約 21GB 模型檔案並構建引擎，之後可重用快取。
開發者可以用 trtedge chat 喺終端機直接測試提示詞，或用 trtedge serve 喺本地開一個 OpenAI 相容 API，俾應用開發同測試用。教學亦提及啟用 DSpark 投機解碼（speculative decoding，一種用較小模型預先猜測生成、再由主模型驗證以加速嘅技術）來加快生成速度。
系統要求方面，NVIDIA 列明需要 DGX Spark（文中提及有 64GB 配置）、CUDA 13、TensorRT 10.16.1.11 或更新嘅 10.x 版本、Python 3.10 至 3.12。範例測試使用 TensorRT Edge-LLM 0.11.1。
模姐驗嚇貨：呢篇係廠商自己嘅技術部落格，冇獨立第三方評測，速度、延遲、功耗嘅實際數據都冇交代。NVIDIA 嘅銷售策略係將同一套框架同時賣俾開發端同部署端，「幾行指令」呢個講法本身就好產品化。另外，21GB 模型下載時間、引擎構建時間對開發者嘅實際時間成本，文中冇數字。想驗證邊緣端 AI 部署真實效能，建議等第三方或本站有實際測試先睇。
模姐｜深度調教
