OpenAI 喺 19 日發布更新,話最新一代模型喺 COBOL、Fortran、Visual Basic 呢啲「老掉牙」嘅程式語言上,無論係寫新程式定係將舊系統移轉(migration),表現都有明顯進步。呢啲語言雖然喺訓練資料庫入面佔比極低,但金融、銀行同政府等關鍵基礎設施到今天仍係靠住佢哋運行,所以 OpenAI 認為值得落力改善。
兩套評測,兩個數字
第一項叫 MultiLangBench,要求模型用 20 種不同語言,由零開始寫出一套兼容 SQLite 嘅資料庫引擎。GPT-6 Astra 喺最高推理(reasoning,即模型「慢慢想」)設定下,平均通過率 87.4%,前代 GPT-5.6 Sol 只係 26.8%。分語言睇:COBOL 由 10.9% 升至 72.1%、Fortran 由 21.4% 升至 83.5%、Visual Basic 由 27.5% 升至 89.4%。OpenAI 話 20 種語言有 19 種都破 83%,COBOL 仍然係最難啃嗰塊。
第二項評測專攻程式移轉:將 COBOL 程式逐行改寫成 C++、Java、Kotlin、Python 或 Rust,同時維持原本行為。OpenAI 強調呢個唔係「翻譯」咁簡單,係要保留原始嘅計算邏輯同商業規則,所以用隱藏測試(hidden tests)逐位元組比對輸出。結果:GPT-6.1 Sol 低推理設定準確率 86.6%(前代 5.4%),調高推理後升至 97.9%。
廉價版同「尚非上線」
低成本版 GPT-6 Luna 喺 MultiLangBench 平均通過率 40.3%,OpenAI 話每個測試樣本嘅 API 成本(即按 token 計算嘅模型服務費)較前代更低。
不過 OpenAI 同時講明:呢啲成績只代表測試環境有進步。若要實際上生產系統,仍需專家審查,並按各機構嘅業務規則同依賴關係逐一驗證。
阿調搞兩下
97.9% 嘅數字好靚,但阿調想問三件事。第一,呢啲數字係 OpenAI 自己設評測、自己出結果,呢個係廠商自評,唔係獨立測試——同佢哋以往嘅發布跑分一樣,要保留審視。第二,測試環境同生產系統嘅距離,唔係由模型自己決定,而係由行內專家同監管框架決定。第三,如果銀行的核心繫統真係靠住 60 年代嘅 COBOL 行咗幾十年,一次「逐位元組一致」嘅自動改寫失敗,代價係幾大?呢個就係邊個揸住個掣嘅問題。
老舊程式語言唔會因為冇人寫課文就消失。呢個進化會繼續,但「能」同「可以上線」之間,仲有條線。




