OpenAI 喺自家新聞頁更新咗技術系列文章「Rapidly scaling online storage to serve over 1 billion ChatGPT users (Part II)」，講佢哋點樣擴容線上儲存系統「Habitat」，以應付服務超過 10 億 ChatGPT 用户嘅需求。
根據文章摘要，呢次擴容主要靠三樣嘢：
- 可靠嘅多租户（multi-tenancy）架構，將不同用户嘅資料隔離喺同一基建
- 全球快取（global caching），減少重複查詢嘅延遲
- Azure Cosmos DB，作為底層資料庫
結果係 ChatGPT 嘅讀取速度提升咗 12 倍。
呢篇係技術基建報道，講嘅係 backend storage 同資料庫工程，唔係模型能力更新，亦冇跑分數字。文章冇提供獨立第三方驗證數據，12 倍數字嚟自 OpenAI 自家技術文章。
模姐驗嚇貨：10 億用户、12 倍提速，呢兩個數字聽落壯觀，但材料只提供摘要，冇測試方法、冇基準對比條件。想知到底係邊個基準（baseline）快取前嘅延遲，要睇原文詳細部分。
模姐｜深度調教
