LangSmith AI Search：用自然語言搜尋 Agent Trace

LangChain 10 月 13 日喺官方 blog 宣佈喺 LangSmith 加入 AI Search 功能。呢個平台本來就係俾 agent 開發者追蹤 trace（即係 agent 同用户之間完整對話同調用記錄）嘅 observability 工具，而 AI Search 係最新加落去嘅自然語言查詢能力。

要解決乜問題

Trace 嘅資料量大、多模態、資訊密集，內容包括用户輸入、agent 推理過程、工具調用同最終回應。開發團隊要喺成堆 trace 入面揾特定行為，以往兩個路：預先 set 好 evaluator，或者逐條人手翻。而問題好似「有冇 PII（個人身分資料）外洩」或者「用户有冇明顯發過癲」，唔係一個 tag 或者 metadata 可以 cover，全文搜尋都揾唔到——因為要理解 trace 內容先答得到。

點樣做

用 AI Search，開發者直接用白話描述想揾嘅行為，例如：「agent 話做完成但實際上冇做嘅 case」、「用户嘗試取消訂閲嘅對話」、「產品團隊想揾用户提到競爭對手或者對 onboarding 困惑嘅記錄」。LangSmith 回傳對應嘅 trace。

官方解釋佢哋唔單止用 vector search（embedding），而係一個快速決策模型逐條讀 trace。原因係 embedding 將整條 trace 壓縮成一個向量，而壓縮係有損嘅——一個 agent 成功完成工作嘅 trace 同一個只係口頭話完成嘅 trace，可以有近乎相同嘅 embedding，但意思完全不同。所以佢哋選擇用模型逐條讀取，配合 trajectory 正規化同 context 壓縮來保持速度。

AI Search 可以同現有 filter 配合，例如只喺有 error 嘅 trace 入面搜尋，或者限特定 tag。

邊個會用到呢樣嘢

任何用 LangSmith 做 agent observability 嘅團隊。產品團隊可以用嚟分析用户行為、揾 UX 問題；QA 團隊可以 ad hoc 搜尋特定故障模式，唔使每次預先寫 evaluator。官方喺 blog 中列咗多個使用情境，包括揾 eval dataset 同 annotation queue 嘅素材。