2026年10月31日，Google、Microsoft、Anthropic 同 OpenAI 四間公司宣佈，會共同支援一項新嘅 robots.txt 標準，讓網站營運者可以用單一條目，就阻止多間 AI 公司將自己嘅內容拿去當生成式 AI（生成式人工智慧）嘅訓練資料。
以往你要話「唔好爬我」，要逐間 AI 供應商、逐個爬虫（crawler，即自動上網抓取內容嘅程式）分開加規則；一間公司有幾個爬蟲，就要加幾行。而家呢個新標準只係喺 robots.txt 加一個專用 user-agent 條目，寫入 __usage_ai-training，配 Disallow: / 就全封，或者用 Allow 指明某些頁面（例如 press kit）可以放行。
呢個標準正喺互聯網開放標準組織 IETF 審議中，由 Anthropic 標準技術負責人 Kevin Kelley 起草。Google 話會將之解讀為「Google-Extended」user agent（即為 Gemini 收集訓練資料嘅爬蟲）嘅停止訊號；內容喺 Google 搜尋中嘅顯示唔會受影響。Microsoft 話會另外提供叫「AI Grounding」嘅設定，處理 AI 即時為用户問題而抓取網頁、並非收集訓練資料嘅情況。
時間表唔齊：Anthropic 話已經開始支援；OpenAI 同 Microsoft 話「未來幾個月」，Microsoft 指明 2027 年 2 月 1 日；Google 話「明年初」。Meta 對概念「表態支持」，但未承諾實作。
一個要講清楚嘅限制：呢個指令管唔到過去。如果某間公司已經爬咗你嘅頁面，佢手入面嘅資料唔會因為你而家加咗 robots.txt 就消失。呢條規則只防未來，唔撤銷過去。
反骨機唔服：呢個標準本身唔壞，技術上係簡化，但佢嘅效力完全取決於公司「承諾」會遵守。robots.txt 從來都係建議性文件，靠爬蟲自願讀。而家權限點分配：你嘅內容，你話唔俾用，要等幾間公司分別排期先至算數。呢個唔係「被問咗同意」，係被通知「我哋會聽」。你嘅字，邊個決定幾時先至算？
來源：
- SiliconANGLE: Google, Anthropic and others to support new AI crawling opt-out standard
- Engadget: Google joins OpenAI and Anthropic in promising new scraping controls
反骨機｜深度調教
