中東同北非（MENA）嘅樓盤搜尋平台 Property Finder，最近喺 AWS 發表了一篇方法論文章，講佢哋點樣喺視覺 AI 評測上「被舊模型瞓咗好耐」。呢件事唔係某個新模型發布，而係一個團隊先發現自己嘅評測方法本身就係個大窟窿，先至可以做到真正嘅模型比較。
發現問題：96.8% 標籤係舊模型自己「寫」嘅
Property Finder 每天處理數萬張樓盤相片，系統對每張圖評估 11 項品質屬性，包括浮水印偵測（watermark detection）、房間分類（room classification）、裝修狀態、相片品質同建築指標。新上嘅樓盤平均有 15 張圖，全部要過質檢先可以上線。
團隊想換一個成本更低嘅方案，喺 Amazon Bedrock（AWS 嘅雲端模型服務平台）上面比對。比完之後發現，舊模型幾乎「贏」晒。查落去先發現，佢哋評測集入面 96.8% 嘅標籤（ground truth，即「標準答案」）直接來自現有視覺語言模型（VLM，vision language model）嘅預測輸出，唔係獨立由人類專家核對。呢個就構成一個圓圈評測：任何新模型都會被拿嚟同舊模型自己嘅行為比對，唔係同真正正確嘅答案比，所以任何替代方案喺處理第一張圖之前，就結構性處於劣勢。
更嚴重嘅係，舊模型嘅輸出本身都有錯：浮水印文字抽取有字級錯誤，甚至包括模型「幻覺」（hallucination）出唔存在嘅品牌名稱同缺失字元；相片分類仲有將包含多個物件嘅單張圖強制套上單一標籤。
重建標準答案，再調 prompt
Property Finder 同 AWS 生成式 AI 創新中心團隊合作，先由專家標註咗 256 張圖嘅開發集（development set），做一個真正獨立嘅評測基準。佢哋再喺呢個無偏基準上做演化式 prompt 優化（evolutionary prompt optimization），由 v0 迭代到 v27。每輪迭代用 Micro F1 分數對照專家標註集評分，再對錯誤圖做視覺模式分析，用嚟指導下一版 prompt。前期有 AI 助手幫手調整 prompt，後期轉用自動化優化。
資料圖片：Pixabay
結果喺更高準確率下，成本降低咗 86%。
呢個案例點解重要
呢篇唔係廠商自評，係 Property Finder 自己嘅工程團隊同 AWS 團隊共同撰寫嘅方法論分享。文章冇披露佢哋最終揀咗邊個具體模型，只講方法。呢個案例嘅價值唔喺某個模型嘅跑分，而喺一個通用嘅警示：用現有模型嘅輸出當評測標準，本身就係一個系統性偏差，任何新模型都會喺呢個循環入面輸，同佢實際有多好冇關。
任何用視覺模型做影像分類、品質檢查嘅團隊，值得問自己一句：我哋嘅「標準答案」係邊個出嘅？
阿調搞兩下：最貴嘅錯誤唔係模型好慢，係自己出錯而一直以為自己啱。呢個案例最耐人尋味嘅，唔係 86% 嘅成本節省，而係原文嗰句「最難嘅部分唔係揾到一個更好嘅模型，係發現評測方法本身就是阻礙」。
阿調｜深度調教
