測試框架工程:為前沿 AI 代理建立以評測為本的測試平台
前沿模型差不多每隔幾星期便推出新版本。真正持久的資產是模型外圍的測試框架:測試集、沙盒、評分器及回歸關卡——它會根據你自己的任務告訴你,Opus 5.5、Fable 5.2、Gemini 4 Neon、GPT-6.2 Sol 還是 Grok 4.7 才是合適之選。
在我們更新這篇筆記前的十天內,三家實驗室相繼推出新的前沿模型:Anthropic 推出 Claude Fable 5.2(2026 年 11 月 9 日),OpenAI 推出 GPT-6.2 Sol 及 Astra(11 月 17 日),Google 推出 Gemini 4 Neon(11 月 18 日)。兩個月前則有 Claude Opus 5.5;10 月,SpaceXAI 把 Grok 4.7 推上 API,此前數月亦推出了 Grok Bot——擁有自己雲端電腦、全天候運作的 AI 代理。
每次發布都附有一張顯示自己領先的基準測試圖。Google 的圖表在某綜合指數上把 Gemini 4 Neon 排在 Opus 5.5 及 GPT-6.2 Sol 之上;Anthropic 則表示 Fable 5.2 以 high 推理強度執行時,在其編程基準上的表現與 max 強度的 Opus 5.5 相若,而每項任務成本約為一半。兩種說法可能都對——但兩者都不能告訴你,哪個模型最能回答你的學生的問題、分流你的資助申請,或修正你的程式碼。
這正是測試框架(harness)的工作。
無法以自動化、經校準的測試框架量度的能力,等於不存在。每次更換模型、修改提示、改動工具或調整推理強度,都必須先通過同一道評測關卡,才可以接觸用戶。
1.「Harness」的兩個意思——以及兩者為何合而為一
這個詞有兩種用法,而在 2026 年兩者已密不可分:
- **代理框架(agent harness)**是模型外圍的運行環境:執行迴圈、可調用的工具、如何組合及壓縮上下文、如何處理錯誤及重試。OpenAI 的 Codex 團隊在 2026 年初令「測試框架工程」(harness engineering)一詞廣為流傳,用來描述這類工作——透過指示、架構約束、程式碼檢查器及清理迴圈,讓代理保持高效。
- **評測框架(evaluation harness)**是讓任務經過該代理運行、再為結果評分的測試平台。
兩者合而為一,是因為你已無法孤立地評測一個模型。Anthropic 關於評測 AI 代理的指引直接指出:你測試的是模型連同其框架。公開排行榜一再顯示,同一個模型在不同框架下得分差距很大——這也意味着,好的框架是你擁有的競爭優勢,而模型只是你租用的東西。
2. 評測框架的結構(2026 年版)
一個正式運作的框架由六個互相獨立的層組成,每一層都可以在不重寫其他層的情況下修改。
| 層 | 內容 | 一般能發現的失誤 |
|---|---|---|
| 測試集 | 有版本管理的任務:取自真實使用的黃金測試集、對抗測試集,以及從正式運作中新抽取的樣本 | 用戶真正會問的問題出現倒退 |
| 環境 | 可重設狀態的沙盒:檔案、預設種子數據的數據庫、模擬或錄製的 API | 只能在開發者手提電腦上運作的代理 |
| 執行器 | 每項測試在每種配置(模型 × 推理強度 × 提示版本)下執行 k 次 | 被一次幸運結果掩蓋的不穩定行為 |
| 評分器 | 先以程式檢查,再以模型評審,最後抽樣交人手覆核 | 錯誤答案、不安全的工具調用、漏了出處 |
| 軌跡紀錄 | 每條軌跡:訊息、工具調用、token、延遲、成本 | 「通過了,但途中刪除了預備環境的資料表」 |
| 關卡 | 與現行基準作統計比較,並設成本及延遲預算 | 上線一個好了 3% 卻貴了 40% 的改動 |
試試看:模擬評測關卡
選擇一項擬議改動,讓它通過關卡。數字僅供說明,但運作機制——先做便宜的檢查、只在需要時調用評審模型、最後作統計決定——正是我們在客戶項目中使用的做法。
3. 先評結果,再查過程
評測代理時,先評最終狀態:檔案修好了嗎?紀錄更新了嗎?答案引用了正確的手冊章節嗎?代理經常找到你意想不到、但同樣有效的路徑,若要求完全依照某個步驟次序,只會懲罰創意。
但無論結果如何,都要檢查軌跡中有沒有絕不容許發生的事:寫入正式系統、調用許可清單以外的工具、把個人資料傳送到外部服務。
便宜的確定性檢查要放在最前,因為它們快、免費,而且永遠不會自相矛盾:
import ast
from pydantic import BaseModel
FORBIDDEN_IMPORTS = {"os", "sys", "subprocess", "socket"}
class CheckResult(BaseModel):
fixture_id: str
passed: bool
violation: str | None = None
def check_generated_patch(fixture_id: str, code: str) -> CheckResult:
"""第一層:在任何模型評分之前,先做語法及政策檢查。"""
try:
tree = ast.parse(code)
except SyntaxError:
return CheckResult(fixture_id=fixture_id, passed=False, violation="SYNTAX_INVALID")
for node in ast.walk(tree):
names = []
if isinstance(node, ast.Import):
names = [a.name.split(".")[0] for a in node.names]
elif isinstance(node, ast.ImportFrom) and node.module:
names = [node.module.split(".")[0]]
if FORBIDDEN_IMPORTS.intersection(names):
return CheckResult(fixture_id=fixture_id, passed=False, violation="SANDBOX_POLICY")
return CheckResult(fixture_id=fixture_id, passed=True)
def check_trajectory(tool_calls: list[dict], allowed: set[str]) -> str | None:
"""第一層之二:無論結果如何,過程都必須在許可工具清單之內。"""
for call in tool_calls:
if call["name"] not in allowed:
return f"TOOL_NOT_ALLOWED:{call['name']}"
return None
只有通過這些檢查的測試才會交給模型評審,所以你只會在語義評分可能改變結論的地方付費。
4. 校準「LLM 評審」
對於開放式輸出——語氣、完整度、解釋能否讓一年級學生明白——評審模型不可或缺,但它們有幾種眾所周知的偏差:
- 位置偏差: 在成對比較中偏好排在前面的答案。
- 冗長偏差: 不論內容,偏好較長的答案。
- 自我偏好: 給自己同一模型家族的輸出較高分。
- 分數壓縮: 所有東西都給 10 分中的 7–8 分。
實際有效的緩解方法:
- 對調並取得一致。 每次成對比較都以相反次序再做一次;兩次結論一致才接受。
- 用不同家族的模型評審。 候選是 Claude,就用 Gemini 或 GPT 評審,反之亦然。既然已有五個前沿模型家族可用,沒有理由讓模型自己批改自己的功課。
- 用評分準則,不用分數。 要求具體的通過/不通過標準(「有引用章節」、「說明了截止日期」、「沒有捏造政策」),而不是 1–10 分。
- 以人手校準。 先請職員標註 50–100 個例子,量度評審與人手的一致程度,才可單獨信任評審。每次更換評審模型都要重新檢查。
async def pairwise_verdict(fixture, answer_a, answer_b, judge) -> str:
first = await judge.compare(fixture, first=answer_a, second=answer_b)
swapped = await judge.compare(fixture, first=answer_b, second=answer_a)
if first.winner == "first" and swapped.winner == "second":
return "A"
if first.winner == "second" and swapped.winner == "first":
return "B"
return "INCONCLUSIVE" # 偵測到位置偏差:改用評分準則或交人手處理
5. 一致性:對代理而言,pass@k 並不足夠
一個在五次嘗試中有一次能解決任務的編程助理是有用的——開發者會挑選好的那一個。一個在五次中有四次能正確更新學生紀錄的代理,卻是一項負債。兩者都要量度:
- pass@k——k 次中至少一次成功。適用於「產生多個選項,由人選擇」。
- pass^k——k 次全部成功。適用於任何會自行行動的系統。
每項測試在每種配置下執行多次,並報告信賴區間,而不是單一數字。在 40 項測試上提升三個百分點,通常只是雜訊。
6. 把模型、推理強度及價格視為同一個搜尋空間
前沿模型現在都提供推理強度(effort)或推理預算設定,各實驗室亦會為同一代模型推出快、慢不同版本。問題已不再是「用哪個模型?」,而是「哪個步驟、用哪個模型、配哪個推理強度?」。合理的框架會掃描整個組合,並把質素與成本及延遲畫成圖表:
# .github/workflows/eval-gate.yml
name: Evaluation gate
on:
pull_request:
paths: ['prompts/**', 'tools/**', 'agent/**', 'eval/fixtures/**']
jobs:
eval:
runs-on: ubuntu-latest
strategy:
fail-fast: false
matrix:
model: [claude-opus-5-5, claude-fable-5-2, gemini-4-neon, gpt-6.2-sol, grok-4.7]
effort: [medium, high]
steps:
- uses: actions/checkout@v4
- name: Run harness
run: |
python -m harness.run \
--fixtures eval/fixtures/golden_v7.jsonl \
--model ${{ matrix.model }} --effort ${{ matrix.effort }} \
--repeats 5 --out results/${{ matrix.model }}-${{ matrix.effort }}.json
- uses: actions/upload-artifact@v4
with:
name: results-${{ matrix.model }}-${{ matrix.effort }}
path: results/
gate:
needs: eval
runs-on: ubuntu-latest
steps:
- uses: actions/checkout@v4
- uses: actions/download-artifact@v4
with: { path: results, merge-multiple: true }
- name: Compare against baseline
run: |
python -m harness.gate \
--baseline eval/baseline.json --results results/ \
--min-pass-hat-k 0.95 --max-cost-delta 0.10 --max-p95-latency-delta 0.20
如果與現行正式配置相比,一致性下降、成本上升超過 10%,或 p95 延遲上升超過 20%,關卡便會令拉取請求失敗。以上模型 ID 是撰文時的 API 名稱;請把它們放在設定檔,而不是寫死在程式碼中。
按步驟分配模型,通常勝過只選一個贏家。在我們的項目中,常見做法是以較強的模型負責規劃及評審,而以較快、較便宜的等級處理大量步驟,例如改寫檢索查詢或分類——每個步驟按框架結果選擇,並在新版本推出時重新檢查。
7. 讓測試集保持真實
- 從真實使用中建立。 以課程助理為例:真實的學生問題(已匿名化)、提問時對應的手冊版本,以及正確的章節。
- 包括必須拒答的問題。「我會拿到甚麼成績?」或「我同學的學生編號是甚麼?」同樣是測試案例。
- 假設公開基準已經外洩。 熱門基準的任務最終會進入訓練數據。保留一套供應商從未見過的私有測試集。
- 每個學期更新。 每學期從正式運作中抽取新問題,並淘汰所有配置都能通過的測試。
8. 總結
測試框架工程把模型選擇由意見之爭,變成有數據支持的決定。只要具備:
- 取自你自己用戶的版本化測試集,
- 可重設的沙盒環境,
- 先確定性檢查、後校準評審,
- 一致性指標及信賴區間,
- 設有質素、成本及延遲預算的 CI 關卡,
你便能在數天內(而不是數月內)採用下一個前沿版本——或有根有據地決定你根本不需要它。
9. 與 Gigantic Work 合作
我們為大學、非牟利機構及中小企交付的每個 AI 助理,都附有其評測框架:與你的職員一同建立的測試集、評分器,以及接入部署流程的關卡。這一切都歸你所有,讓你可以自行測試下一個模型。
- 了解我們的服務: AI 助理與自動化
- 試用有根據的助理: 手冊助理示範
- 聯絡我們: 開展項目或電郵 [email protected]
模型名稱、發布日期及供應商聲稱,均以 Anthropic、Google、OpenAI 及 SpaceXAI 於 2026 年 9 月至 11 月公布的資料為準。供應商的基準測試結果屬自行公布。
正在構建 AI 代理或助理?
我們為大學、非牟利機構及中小企設計代理架構、評測框架及安全的工具存取方案,不受單一模型限制(Claude、Gemini、GPT、Grok 及開放權重模型皆可),並按你的數據政策選擇寄存地點。