OpenAI 喺 10 月 19 日喺官方部落格發表研究文章,公佈新一代模型喺 COBOL、Fortran、Visual Basic 呢啲「低資源語言」(low-resource programming languages,即網上可學嘅程式碼同文件少得嚟㗎喺 Python、JavaScript)上嘅測試成績,并把橫跨 20 種語言嘅測試 MultiLangBench 嘅環境同題組放上 GitHub 公開。
呢啲語言唔起眼,但撐住全球一大堆關鍵設施。OpenAI 喺文入面引用 IBM 數據指,COBOL 係逾 40% 網銀行系統嘅基礎,又撐住 80% 嘅實體簽卡同 95% 嘅 ATM 交易;Fortran 則用於天氣預報同核反應爐安全分析。呢啲老系統文件未必齊、開發者可能早已轉職,好多業務規則淨係存喺程式碼入面。
測試分兩塊。COBOL 移轉測試要求模型將 COBOL 改寫成 C++、Java、Kotlin、Python 或 Rust,並保持原本行為。OpenAI 舉例,COBOL 嘅定點數運算若冇明確要求四捨五入,會直接捨去多出小數位;若改寫後改成四捨五入,程式照樣運行唔會報錯,但財務結果就唔同。用隱藏測試逐位元組(byte-for-byte)比對輸出,全部通過先算移轉成功。GPT-6.1 Sol 喺低推理強度下準確率 86.6%,調高後達 97.9%,OpenAI 形容呢項測試已接近飽和;同設定下 API 成本為前代 GPT-5.6 Sol(準確率僅 5.4%)嘅 61%。
另一項 MultiLangBench 要求模型用指定語言由零打造一套同 SQLite 相容嘅資料庫引擎,過程要規劃架構、管理狀態、處理錯誤,並喺新增功能時保持既有功能正常;評分時交由 SQLite 實作檢查輸出。以最高推理強度計算,GPT-6 Astra 喺 20 種語言嘅平均通過率為 87.4%,前代 GPT-5.6 Sol 為 26.8%。逐語言睇,COBOL 由 10.9% 升至 72.1%,Fortran 由 21.4% 升至 83.5%,Visual Basic 由 27.5% 升至 89.4%。低成本嘅 GPT-6 Luna 平均通過率 40.3%,每個測試樣本嘅預估 API 成本平均 0.77 美元,較前代 3.48 美元約低 78%。
阿調搞兩下:呢個係 OpenAI 自己嘅測試同數據,題組已公開可以重跑驗證,但同「可上線」中間仍然隔住專家審查呢道關。COBOL 係真正撐住銀行同 ATM 嘅老骨幹,改寫錯一位數就係錢嘅問題。模型能改,人先審,呢條界線唔好攪。
阿調|深度調教




