個 Gateway 係做咩
LangChain 今日宣佈，佢嘅 LangSmith 平台新增一個叫 LLM Gateway（大型語言模型閘道器）嘅組件，而家開放公開測試（public beta）。簡單講，呢個係一個「中間層」，擺喺你嘅 AI 代理（agent，即會自己調用模型做嘢嘅自動化系統）同佢哋背後嘅模型之間。
以前想做好多嘢（限額、限速、換備援模型、遮敏感資料），工程團隊要喺每個 agent 嘅程式碼入面自己寫、自己維護；用不同供應商（provider）仲要再寫一輪。LangChain 指，LLM Gateway 就係想將呢啲「執行期」管控集中喺一個地方做，一次定義、全線執行。
佢哋仲強調呢個 Gateway 唔會將你鎖死喺一個供應商——同一個 Gateway 同時可以管閉源模型同開放權重（open weight）模型，換供應商時唔使重新寫管控。
控制功能：最貼地嘅係限額
限費（Spend caps）： 可以在四個層級設時限（time-bound）花費上限——機構、工作區（workspace）、API key、個人用户。撞到上限，agent 會收到 HTTP 402 回應同錯誤訊息，直接截斷，唔會再繼續燒錢。
限速（Rate limits）： 一樣四個層級可以設，防住異常流量或意外循環打爆供應商。
客户層級策略： 針對多租户（multi-tenant）同分銷商場景，可以用自定義 request header 去識別不同終端客户，然後統一用一個 API key，但按客户執行唔同嘅限額同限速。即係唔使為每個客户開獨立 key。
備援（Model fallbacks）： 可以跨模型、跨供應商、跨主機（host）設定後備。模型供應商出故障時，agent 唔會直接報錯，而係過到後備模型。
個資遮蔽（PII redaction）： 喺資料送去模型之前，自動將個人資訊（PII）同機密（secrets）遮掉，防止敏感數據洩入供應商。
阿調搞兩下
個 Gateway 嘅賣點講到最核心，就係限費呢項。朗文嘅官方示範：coding agent 卡喺個 retry loop（重試循環）入面，成晚打 10,000 次 LLM call，朝早收到四位數美元嘅單。
但要注意：呢個係產品功能解説，而家入公開測試階段，冇獨立安全審計、冇公開限額數值。要判斷佢夠唔夠穩陣、遮蔽有冇漏洞、限額邊界行為點樣，要等正式上線同有獨立測試先講得。
對用 agent 跑生產流程嘅工程團隊嚟講，呢個係值得關注嘅方向——將執行期管控分離出 agent 程式碼，本身就係正確嘅架構設計。但「避免供應商鎖定」呢句，始終要睇佢嘅 API 抽象層做到幾乾淨，唔好被一個「統一 Gateway」變相鎖喺 LangSmith 平台。
