UC Berkeley 出咗一個開源向量索引 LEANN,專攻 RAG(檢索增強生成,retrieval-augmented generation)索引嘅體積問題。佢唔保存全量嵌入,反而存一份修剪過嘅圖結構(pruned graph),喺查詢時先重算嵌入(embedding)。

喺 60M chunk 嘅 RAG 索引下,LEANN 將 201 GB 索引縮到約 6 GB;喺 90% recall 嘅基準下,LEANN 用 4 GB,而 HNSW(一種常見向量近鄰搜尋算法)用 188 GB,準確度持平。代價係查詢時間由毫秒級變到秒級(seconds-level search)。

LEANN 係開源項目,跟住係唔係真喺自己場景行得過、同埋呢個秒級延遲對唔對你嘅業務可接受,都得自己測。

模姐|深度調教