擴展託管代理:大腦、雙手與會話
長時間運行 AI 代理的架構藍圖:無狀態的大腦、可丟棄的雙手,以及耐久的會話日誌。內容已按 Claude Managed Agents、Grok Bot 全天候代理,以及以 Opus 5.5、Fable 5.2、Gemini 4 Neon 及 GPT-6.2 組成的多模型團隊更新。
大部分團隊開發的第一個代理,都是容器裏的一個迴圈:給模型一個 shell、一個檔案系統和一些憑證,讓它自行工作。作為示範,這已足夠。但當代理要連續運行數小時、對真實系統採取行動、同時服務大量用戶時,單一容器本身就成了問題。
到了 2026 年底,這已不再是研究課題。Anthropic 把它做成產品——Claude Managed Agents,提供耐久的會話、雲端或自行寄存的沙盒,以及憑證密鑰庫。SpaceXAI 的 Grok Bot 為每個全天候代理配備自己的雲端電腦,在你離開時繼續工作。Google 及 OpenAI 亦推出了各自的代理平台。撇除品牌包裝,成功的設計都收斂到同一種拆分方式——Anthropic 在其工程文章〈Scaling Managed Agents: Decoupling the brain from the hands〉中已有描述。
框架總是假設了模型「暫時還做不到」甚麼,而這些假設會隨每次新版本過時。應把代理放在穩定的介面之後——大腦、雙手與會話——讓架構比任何一代模型都活得更長。
1. 框架的「苦澀教訓」:別養寵物
圍繞某個模型弱點而建的輔助架構,到了下一個模型就會變成累贅。Anthropic 自己的例子:較早的一個模型在上下文快滿時傾向過早收尾,於是框架加入了積極的上下文重設機制;到了下一個模型,這種行為已經消失,重設機制反而礙事。
此後步伐只有更快。2026 年 9 月至 11 月間,Anthropic 先後推出 Opus 5.5 及 Fable 5.2,OpenAI 推出 GPT-6.2 Sol 及 Astra,Google 推出 Gemini 4 Neon,SpaceXAI 推出 Grok 4.7。如果你的架構每次都要重做,你便永遠落後。
單一容器「寵物」
早期設計把會話日誌、框架及沙盒全部放在同一個容器內:
┌──────────────────────────────────────────────────────────┐
│ COUPLED CONTAINER (A "PET") │
│ │
│ ┌────────────────┐ direct syscalls ┌─────────────┐ │
│ │ Agent harness │ ──────────────────► │ Sandbox + │ │
│ │ (model loop) │ │ credentials │ │
│ └───────┬────────┘ └─────────────┘ │
│ │ in-memory log │
│ ▼ │
│ ┌────────────────┐ │
│ │ Session data │ │
│ └────────────────┘ │
└──────────────────────────────────────────────────────────┘
這樣省去了設計網絡邊界的工夫,但:
- 容器變成寵物。 寵物要細心照料、無可取代;牛群則可以互相替換。這個容器一死,會話便隨之消失。
- 故障難以看清。 從外面看,框架卡住、連線中斷及記憶體耗盡當機都一模一樣——而走進容器內除錯,又會暴露用戶數據。
- 一切都必須放在模型旁邊。 要連接客戶的私有網絡,便得打通網絡,或把整套系統搬進對方網絡運行。
2. 拆開三者:大腦、雙手與會話
作業系統以「程序」及「檔案」把硬件虛擬化,解決了硬件多樣性的問題:read() 在磁帶機及 NVMe 硬碟上運作方式相同。託管代理套用同一概念:
| 組件 | 職責 | 故障範圍 | 介面 |
|---|---|---|---|
| 大腦 | 模型推理及編排迴圈 | 無狀態——可在任何地方重新啟動 | wake(sessionId)、emitEvent(id, event) |
| 雙手 | 沙盒、瀏覽器、裝置、MCP 工具 | 可丟棄的牛群——按需重新配置 | execute(name, input) → string |
| 會話 | 只可追加、耐久保存所有事件的日誌 | 高可用儲存 | getSession(id)、getEvents(id, slice) |
┌─────────────────────────────────┐
│ THE BRAIN │
│ stateless harness + model │
└────────┬───────────────┬────────┘
│ │
getEvents() / │ │ execute(name, input)
emitEvent() │ │
▼ ▼
┌────────────────────┐ ┌──────────────────────┐
│ THE SESSION │ │ THE HANDS │
│ append-only log │ │ sandboxes · browsers │
│ (durable storage) │ │ devices · MCP tools │
└────────────────────┘ └──────────────────────┘
- 沙盒變成牛群。 大腦以同一個工具介面與所有雙手溝通。容器死了,大腦只會收到一個普通的工具錯誤,告知模型,然後配置一個新的。
- 框架變成牛群。 由於會話存放在大腦以外,當機的框架會由新的工作程序取代:它呼叫
wake(sessionId)、讀取日誌,然後由最後一項事件繼續。
export interface AgentBrain {
wake(sessionId: string): Promise<void>;
step(sessionId: string): Promise<StepResult>;
}
export interface SessionStore {
getSession(sessionId: string): Promise<SessionMeta>;
emitEvent(sessionId: string, event: AgentEvent): Promise<void>;
getEvents(sessionId: string, slice?: { start?: number; limit?: number }): Promise<AgentEvent[]>;
}
export interface Hand {
provision(spec: { image: string; cpu: number; memoryMb: number }): Promise<string>;
execute(handId: string, tool: string, input: Record<string, unknown>): Promise<string>;
destroy(handId: string): Promise<void>;
}
2026 年的各款產品都呈現同樣的形態:可以在暫停後恢復的會話、可運行於供應商雲端或你自己環境的沙盒,以及在任務之間保留自己電腦的代理。
3. 看它失敗,再看它復原
執行一項任務,然後在途中終止框架或沙盒,或嘗試植入提示注入,看看會話日誌如何應對。
- 按「執行任務」,然後在它工作時嘗試製造故障。
4. 零信任憑證:讓密鑰遠離生成的程式碼
如果模型生成的程式碼在存放憑證的地方運行,提示注入只需說服代理列印環境變數便能得手。收窄權限範圍可以縮小損害,但無法消除風險。
根本的解決方法是永遠不把憑證放進沙盒:
┌────────────────────────────────────────────────────────┐
│ MANAGED AGENT │
│ │
│ ┌─────────────────┐ token-free tool call ┌───────┐ │
│ │ Brain │ ──────────────────────► │Sandbox│ │
│ └────────┬────────┘ └───┬───┘ │
│ │ session identity │ │
│ ▼ outbound HTTPS │ │
│ ┌─────────────────┐ ◄──────────────────────────┘ │
│ │ Egress proxy / │ │
│ │ MCP gateway │ ── fetch secret ──► ┌───────────┐ │
│ └────────┬────────┘ │ Vault │ │
│ │ request + real credential └───────────┘ │
│ ▼ (allowed hosts only) │
│ ┌─────────────────┐ │
│ │ External API │ │
│ └─────────────────┘ │
└────────────────────────────────────────────────────────┘
兩種模式已涵蓋大部分需要:
- 在出口替換憑證。 沙盒照常發出 HTTPS 請求;位於沙盒外的代理伺服器只會在請求前往該憑證獲准存取的主機時,才注入真正的密鑰。Claude Managed Agents 的密鑰庫正是這樣運作,密鑰從不進入沙盒。
- 預先認證的資源。 以 Git 為例,主機在設定階段已複製代碼庫並設定遠端,因此
git pull及git push可在沙盒內正常運作,而代理從頭到尾都看不到 token。需要 OAuth 的 MCP 伺服器則放在持有 token 的閘道之後。
對大學及非牟利機構而言,還要檢查會話日誌存放在哪裡——它包含代理讀過的每份文件。撰文時,Anthropic 的文件指出,託管版本的 Managed Agents 不受零數據保留安排涵蓋;而自行寄存的選項則可把框架、沙盒、憑證及會話紀錄全部留在你自己的雲端。選擇前,請以最新條款對照你的數據政策。
5. 會話不等於上下文視窗
壓縮上下文——刪減對話輪次、總結舊步驟——意味着要不可逆地決定忘記甚麼。如果第 12 步的原始工具輸出被總結掉,而第 40 步需要當中一個細節,代理便會失敗。
把完整日誌保存在模型以外,問題便由「保留甚麼?」變成「現在載入甚麼?」。框架每一輪都從日誌組合提示:
- 中斷後由最後的檢查點恢復。
- 倒帶到工具錯誤之前的事件,診斷問題。
- 查找某個過往決定,而不是每一輪都帶着它。
export class ContextBuilder {
constructor(private store: SessionStore, private cacheablePrefix: string) {}
async build(sessionId: string, budgetTokens: number): Promise<ModelRequest> {
const events = await this.store.getEvents(sessionId);
const recent = events.slice(-8); // 原文保留
const older = events.slice(0, -8).map(digest); // 每項一行,保留 ID 及狀態
return fitToBudget({
system: this.cacheablePrefix, // 穩定前綴 → 提示快取命中率高
messages: [...older, ...recent],
tools: [{ name: 'get_events', description: 'Read earlier events from this session by index range.' }],
}, budgetTokens);
}
}
前沿模型現時普遍提供 100 萬 token 的上下文視窗(Opus 5.5 及 Gemini 4 Neon 均約有一百萬 token),很容易令人想略過這一步。不要這樣做:長提示每一輪都更慢、更貴;穩定的快取前綴加上一個查閱日誌的工具,通常勝過把所有東西塞進去。
6. 多個大腦,多雙手
沙盒未建立,便開始思考
大腦與雙手綁在一起時,每個會話都要等容器啟動、複製代碼及安裝套件後,才能產生第一個 token。拆開之後,大腦立即開始推理,只在模型真正需要工具時才呼叫 provision()。Anthropic 表示,這項改動令首個 token 延遲的中位數減少約 60%,p95 減少超過 90%。
一個大腦,多雙手
一個編排者可以透過同一個 execute() 介面,驅動 Linux 沙盒、無頭瀏覽器、手機模擬器及遠端 MCP 伺服器——還可以把一個運行中的沙盒直接交給另一個代理,而毋須複製。
多個大腦,按角色選擇
多代理團隊現已是產品功能,而非研究項目。2026 年的新變化是:這些大腦不必使用同一個模型。我們會根據框架結果按角色選擇:
| 角色 | 重點 | 一般選擇(2026 年 11 月) |
|---|---|---|
| 規劃者/編排者 | 長時程推理、判斷何時用工具 | 頂級模型,例如以 high 強度運行的 Claude Fable 5.2 或 Opus 5.5 |
| 工作者 | 範圍清晰的子任務上的吞吐量及成本 | 中階模型,例如 Gemini 4 Neon 或 GPT-6.2 Sol |
| 審查者/評審 | 與工作者保持獨立 | 與工作者不同家族的模型 |
| 全天候監察者 | 低成本、持續在線 | 能通過你測試集的最小模型 |
Fable 5.2 的每 token 價格是 Opus 5.5 的兩倍,中階模型則更便宜,所以按角色分配模型很重要。上表只是起點,不是推薦:請用你自己的測試集測試,因為排名會隨每次發布而改變。
┌───────────────────────────┐
│ Orchestrator (brain) │
└─────────────┬─────────────┘
┌───────────────────────┼───────────────────────┐
▼ ▼ ▼
┌──────────────────┐ ┌──────────────────┐ ┌──────────────────┐
│ Worker brain A │ │ Worker brain B │ │ Reviewer brain │
│ hand: Linux box │ │ hand: browser │ │ hand: MCP (DB) │
└──────────────────┘ └──────────────────┘ └──────────────────┘
└──────────── shared session log ───────────────┘
7. 正式運作檢查清單
- 三者分離: 會話、框架及沙盒以獨立服務運行,介面精簡。
- 牛群式沙盒: 任何沙盒都可以銷毀,並在數秒內按宣告式配方重建。
- 無狀態框架: 終止任何框架程序;新程序以
wake(sessionId)恢復,不會遺失數據。 - 沙盒內沒有密鑰: 憑證只在出口、只對獲准主機注入。
- 會話 ≠ 上下文: 完整日誌存放在耐久儲存;上下文每輪組合。
- 延遲配置: 推理從不等待容器。
- 可更換模型: 每個角色的模型都是設定,每次新版本推出都由評測框架重新驗證。
- 已核實數據存放地點: 你清楚會話日誌存放在哪裡、誰可以讀取。
8. 與 Gigantic Work 一起構建代理
我們為大學、資助項目、非牟利機構及中小企設計及開發代理系統——可建基於 Claude Managed Agents、其他供應商的平台,或在數據必須留在你基礎設施時採用自行寄存的方案:
- 代理架構: 大腦/雙手/會話分離、故障復原及可觀察性。
- 安全的工具存取: 沙盒、出口代理、密鑰庫憑證及 MCP 閘道。
- 評測: 測試集及關卡,讓你有根有據地更換模型。
下一步:AI 助理與自動化 · 開展項目 · [email protected]
產品名稱、發布日期及數字,均以 Anthropic、Google、OpenAI 及 SpaceXAI 截至 2026 年 11 月公布的資料為準。採用前請查閱各供應商最新的文件及條款。
正在構建 AI 代理或助理?
我們為大學、非牟利機構及中小企設計代理架構、評測框架及安全的工具存取方案,不受單一模型限制(Claude、Gemini、GPT、Grok 及開放權重模型皆可),並按你的數據政策選擇寄存地點。