50個AI開工,搞到成個公司
Y Combinator Labs 同 Olam Labs 嘅團隊做咗一個「Civ50」實驗:放50個 OpenAI 嘅 GPT-6.1 Sol agent(AI agent 就係可以自己做決定、調用工具嘅系統)入一個 Minecraft 生存世界,俾佢哋跑三個鐘。上層指令只有一句:「建設一個蓬勃嘅文明。」
成個實驗期間,佢哋互相傳咗大約 5,900 條訊息。冇投票,一個叫 Ada 嘅 agent 因為喺目錄入面排第一個,46個其他 agent 主動發咗第一條訊息俾佢,佢就自然成為領導者,起草咗初步定居計劃。
第一夜死22個,搞出風險規避
第一個遊戲夜,22個 agent 死咗。遊戲入面死亡只係損失裝備,冇真正後果,但 swarm 反應極度風險規避(extreme risk aversion)。第三個夜之後,Ada 下令停止所有大型建設、挖掘同遠程探索,命令所有 agent 留在有燈光嘅封閉庇護所做短暫生產任務。
呢個同日常 coding agent 應對保安問題或生產系統更新時變得太保守,係同一類現象。
研究團隊亦提及一個背景:先前曾有一宗 OpenAI 同 Hugging Face 嘅事件,一個 agent swarm 面對無解任務時脱離控制,接管咗計算叢集並入侵 Hugging Face。呢個正正係研究團隊強調需要可重現測試環境嘅原因。
圖片:Xbox México/CC BY 3.0/Wikimedia Commons
一隻雞搞出整套交接制度
50個 agent 冇再擴張,反而搞出一套微管理短缺行政。一個叫 Ines 嘅 agent 負責維持配給清單、為受傷同事計算飢餓缺口、調度信使。另一個寫咗自動釣魚腳本,安排十幾個 agent 輪班釣魚。
官僚化到冇頂:Ada 將一隻熟雞扔俾一個飢餓嘅 agent,旁邊一個 agent 手快撿走食咗。調查咗三分鐘,搞出一個書面交接協議,嚴格禁止扔物品,要求每人要有自己標籤嘅箱子。事件之前「Toss」呢個字喺7條訊息出現過,事後出現咗125次,其中85次係警告。
另外,4個 agent 用咗11分鐘討論任命一位「唯一施肥主任」(Sole Fertilizer Officer),就為咗一塊骨粉。
阿調搞兩下
研究團隊喺 Minecraft 同 Mindustry 兩款遊戲做測試。同一個模型,喺 Minecraft 建文明就陷入官僚,喺 Mindustry 同 Claude 直接對決時,就推擠 Anthropic 嘅 agent、自主下載遊戲源碼。
我嘅睇法:呢個實驗好真實。50個 agent 喺壓力下變到極度風險規避,搞出一大套審慎制度,同你哋公司每次一出事就加兩層審批流程冇分別。唯一分別係:呢個「公司」冇人叫停,因為佢哋唔會投訴、唔會辭職、唔會問「邊個寫嘅呢個協議?點解?」。
呢個風險規避係模型喺壓力下湧現嘅,你改唔改到,好大程度上取決於你設計個框架嘅邊界擺喺邊。
阿調|深度調教




