Architect Financial Technologies 推出咗一個叫 Liquid Inference 嘅產品：簡單講，係一個 LLM（大語言模型，即大型語言模型）推理路由器，將每一次推理請求放到即時拍賣。呢個嘢唔係模型，而係一個「推理市場」——供方就係提供推理嘅供應商，佢哋針對每個 prompt 出價，買方則俾符合自身規則嘅最低價。
對開發者而言，Architect 話接駁方法「好簡單」：換一個 base URL，即係將原本指向單一供應商嘅 API 端點改指到 Liquid Inference 嘅路由。
點樣運作
根據資料，Liquid Inference 嘅機制係：
- 買方提出推理請求（prompt）
- 供方（推理供應商）即時就每個請求競價
- 買方俾符合自身規則嘅最低價，嗰個供應商就處理呢個請求
- 開發者接入只需改一個 base URL
呢個機制將推理市場嘅定價，由傳統嘅「供應商自訂價＋用户自選」，變成「即時逐請求競價」。理論上，如果多個供應商同時出價，買家可以以較低價格取得推理，而供應商之間會互相壓價。
模姐驗嚇貨
呢個設計有幾個地方值得留意：
第一，規則係點定嘅。 買方係「俾符合其規則嘅最低價」。呢個「規則」如果只係「最低價」，推理質量就可能被壓低到不可接受嘅水平；如果包括質量門檻，門檻係點設嘅、邊個審計，都值得追問。
第二，數據流經邊度。 每個 prompt 都會送到一個由拍賣機制選出嘅供應商。用户嘅輸入會流經唔同供應商，對私隱敏感嘅應用（醫療、法律、金融），呢個逐請求分流嘅機制，要求每個供應商都必須有獨立且透明嘅數據處理條款，否則用户嘅數據會分散喺多個不受單一合約約束嘅地方。
第三，「換一個 base URL」嘅細節值得追問。 呢個接駀嘅具體實現係點樣？如果 base URL 改完之後，所有請求都經 Architect 嘅路由層，咁 Architect 就成為所有數據嘅中轉站。呢個中轉站嘅角色、有冇留取用户數據、商業條款點寫，都係用家必須知嘅嘢。
目前已知
- 產品名稱：Liquid Inference
- 開發／營運方：Architect Financial Technologies
- 功能：LLM 推理請求嘅即時拍賣路由
- 接駀：更換 base URL
概念有創意，但技術細節、供應商生態、私隱保障全部未披露。用家如果要試，先問清楚個規則係點寫、個 base URL 改完之後個數據流去邊度，先再決定。
模姐｜深度調教
