每經(jīng)AI快訊，1月14日，MiniMax官微宣布開源面向Coding Agent的新評測集OctoCodingBench。MiniMax表示，基于該評測集，其針對現(xiàn)有的開源閉源模型進(jìn)行了廣泛的評估，并發(fā)現(xiàn)一些很有啟發(fā)性的實(shí)驗(yàn)結(jié)果：所有模型的Check-level 準(zhǔn)確率（CSR）可以達(dá)到80%+，但I(xiàn)nstance-level成功率（ISR）只有10%-30%；絕大多數(shù)模型的指令遵循能力會隨著輪次的變多逐漸下降；現(xiàn)階段模型表現(xiàn)普遍未能達(dá)到生產(chǎn)級要求，過程合規(guī)仍是盲區(qū)；開源模型正在快速追趕閉源模型。