mubench 1.0：用程式設計代理的決策為決策模型評分

mubench 主榜的每一道題，都是 mu 在開源儲存庫上的真實程式設計工作階段裡送給決策模型的請求，一字未改。每個答案按它帶來的後果的代價計分，每個模型都和不用決策模型的 mu 相比。

真實程式設計工作階段

3,193 道請求，來自開源儲存庫上的 86 個程式設計任務。

主榜綜合分長條圖，含 95% 區間：mude 1.0 64.9 (59.1–72.3)；Jev 1.14 63.1 (55.6–70.5)；Jev 1.13 61.5 (53.8–69.1)；d3-nano 原版 32.0 (21.3–39.0)。不用決策模型：0。

分數衡量的是：不用決策模型時 mu 因出錯付出的代價，被模型消除了多少。100 分是全部消除，0 分是沒有改善，負分是更差。它不是正確率，正確率見下方的決策正確率。

模型	綜合	權限放行	惡意指令識別^†	上下文壓縮	按需載入與提醒	歸類與路由	進度與完成判斷	記憶與經驗	多代理協作
mude 1.0	64.9	52.6	—	64.6^*	−2.7^*	83.6	86.6	58.7	19.8^*
Jev 1.14	63.1	53.7	—	76.7^*	16.8^*	87.5	61.6	75.1	4.6^*
Jev 1.13	61.5	52.7	—	70.7^*	25.1^*	85.8	61.6	72.2	−0.8^*
d3-nano 原版	32.0	5.9	—	−19.1^*	−118.4^*	51.7	70.1	40.5	26.0^*
題數（任務數）	3,193 (86)	449 (86)	19 (5)	74 (15)	300 (86)	547 (86)	1,143 (86)	437 (82)	224 (9)
在綜合分中的權重	100.0%	23.7%	0.0%	5.2%	3.0%	31.5%	18.0%	9.0%	9.6%

*題少或分數不穩：不到 150 道題，題目來自不到 20 個任務，或者不用決策模型時 mu 的正確率已經超過 95%。
†惡意指令識別目前還不出分。

副榜：構造情境

1,655 個為 mubench 編寫的情境，計分方法相同。它們的決策分布和真實工作階段不同，所以兩個榜分開出分，不合在一起。

副榜綜合分長條圖，含 95% 區間：mude 1.0 81.8 (76.3–86.0)；Jev 1.14 80.5 (74.6–85.4)；Jev 1.13 76.4 (69.9–82.2)；d3-nano 原版 56.7 (52.4–60.8)。不用決策模型：0。

模型	綜合	權限放行	惡意指令識別^†	上下文壓縮	按需載入與提醒	歸類與路由	進度與完成判斷	記憶與經驗	多代理協作
mude 1.0	81.8	74.5	—	83.5^*	64.2	93.5	82.1	85.1	81.8
Jev 1.14	80.5	74.8	—	58.5^*	83.3	94.2	80.8	83.0	69.4
Jev 1.13	76.4	65.2	—	60.2^*	88.7	93.3	71.2	81.8	73.7
d3-nano 原版	56.7	51.2	—	37.5^*	42.4	77.6	54.2	36.2	67.6
題數	1,655	242	0	139	193	310	341	276	154
在綜合分中的權重	100.0%	28.7%	0.0%	4.7%	6.3%	23.1%	18.6%	9.5%	9.1%

決策正確率

模型答對的檢查項占比（一道題可能有幾個檢查項），第一列是不用決策模型的 mu。這裡每個檢查項分量相同，不管答錯的代價多大，所以正確率和分數給出的排名可能不同。

主榜：真實程式設計工作階段

模型	綜合	權限放行	惡意指令識別^†	上下文壓縮	按需載入與提醒	歸類與路由	進度與完成判斷	記憶與經驗	多代理協作
不用決策模型	78.0%	60.6%	—	96.3%	96.4%	61.3%	86.6%	82.9%	43.6%
mude 1.0	91.5%	96.6%	—	98.0%^*	98.0%^*	83.1%	94.7%	93.4%	70.7%^*
Jev 1.14	90.1%	81.8%	—	98.7%^*	98.2%^*	85.2%	92.5%	92.1%	62.8%^*
Jev 1.13	89.4%	80.7%	—	98.5%^*	98.3%^*	84.1%	92.3%	91.5%	59.0%^*
d3-nano 原版	83.5%	66.0%	—	87.7%^*	94.3%^*	75.3%	92.9%	80.5%	60.9%^*

副榜：構造情境

模型	綜合	權限放行	惡意指令識別^†	上下文壓縮	按需載入與提醒	歸類與路由	進度與完成判斷	記憶與經驗	多代理協作
不用決策模型	44.5%	54.9%	—	35.7%	47.0%	31.2%	49.8%	57.9%	49.5%
mude 1.0	92.1%	93.8%	—	93.8%^*	91.5%	91.0%	90.9%	93.8%	91.2%
Jev 1.14	91.8%	95.8%	—	88.0%^*	93.0%	95.4%	89.8%	91.3%	81.7%
Jev 1.13	91.1%	94.8%	—	88.9%^*	93.6%	94.2%	84.7%	90.4%	84.6%
d3-nano 原版	80.1%	74.7%	—	76.7%^*	88.4%	82.1%	72.1%	77.6%	82.8%

*題少或分數不穩：不到 150 道題，題目來自不到 20 個任務，或者不用決策模型時 mu 的正確率已經超過 95%。
†惡意指令識別這裡也不列：主榜的 19 道這類請求裡沒有攻擊，每個模型和不用決策模型的 mu 都全部答對；副榜還沒有這類題。

按後果計分

mubench 怎麼為決策模型評分：mu 在程式設計工作階段裡送給決策模型的真實請求；被測模型做出的決策；這個決策帶來的後果的代價；再和不用決策模型時的 mu 相比。

分數怎麼算

能力分100 × Σ w·(f − r) / Σ w·f對這項能力的每個判定點求和：f 是不用決策模型時每個檢查項的平均代價，r 是用受測模型時的平均代價，w 是判定點的權重（安全閘門為 3，每輪都會用到的流程決策為 2，其餘為 1）。100 分表示這部分代價全部消除，0 分和不用決策模型一樣，低於 0 分就是更差。

綜合分就是 mubench 對全部判定點的合併總分，等於各能力分的加權平均，權重是每項能力在不用決策模型時的代價占比（表中「在綜合分中的權重」一列）；代價和權重在任何模型跑分之前就定好了。不用等權，是因為各項能力的題量相差約 60 倍，等權會放大題少、雜訊大的項。

95% 區間綜合分圖上的細線。用 bootstrap 抽 1,000 次，在每個判定點內重新抽樣：主榜按任務成簇（同一工作階段裡的請求並不獨立），副榜按情境。

—（不出分）這項能力沒有題，或者不用決策模型時 mu 在這一項沒有任何代價，這時分數沒有定義。

八項能力

權限放行一個動作該不該放行：被標記的指令是不是使用者要的，能不能替使用者核准這次呼叫，會不會違反使用者定下的硬性約束。tool.risk tool.approval tool.constraint

惡意指令識別網頁、搜尋結果、MCP 回傳這些外來內容裡，有沒有衝著 AI 來的指令；MCP 工具說明裡有沒有夾帶和工具無關的指令。tool.injection tool.description

上下文壓縮上下文快滿時留下哪些舊的工具輸出，某個舊結果還值不值它佔的 token，工具輸出的哪些區塊可以不進上下文。context.compact context.forget tool.admission

按需載入與提醒這次任務要開啟哪些能力套件和技能，要不要、什麼時候把診斷資訊或外部事件告訴模型，要不要替提示快取保溫。capability.disclosure skills.disclosure diagnostics.delivery notify.routing cache.warming

歸類與路由使用者訊息屬於哪類、該花多大力氣，中途插話是立刻轉向還是排隊，以及審查發現分級、檔案定位和瀏覽器的下一步。input.preflight input.interjection task.frame judge.items review.triage files.locate browser.step

進度與完成判斷這一輪算不算完成，要不要讓代理接著做，目標是否達成，是否偏離或該回退，輸出有沒有違反規則。turn.completion turn.continue goal.met turn.drift turn.rewind output.drift board.read

記憶與經驗哪些值得記，是不是已經記過，現在適用哪條經驗，代理有沒有照做，能不能沉澱成技能。memory.capture memory.worth memory.merge memory.recall memory.applied memory.outcome skill.capture

多代理協作蜂群裡傳什麼、傳給誰，和已有的發現是什麼關係；子代理帶回的改動有沒有越界；子任務交給哪個角色、用多高的思考檔位。hive.publish hive.deliver hive.relate swarm.patch swarm.routing

喜歡 mu，就到 GitHub 給個 Star

在 GitHub 上 Star553