← 回到正在驗證

04 / ACTIVE VALIDATION

TicketForge:通往帶證據 MR 的 vertical slice

目標是理解 ticket、定位 repository,並在隔離 sandbox 產生可驗證的 diff;目前只有 ticket → plan → sample diff → simulated test output → evidence schema 的互動模擬,不連 repository、不執行測試。

SYSTEM NOTE / 本頁記錄仍在驗證的產品判斷,不是已完成案例。所有成果指標都要等可重現實驗或實際使用資料成立後,才會升級為 shipped case study。

CURRENT STATUSINTERACTIVE SIMULATION / VERTICAL SLICE IN BUILD
WHAT EXISTS TODAY

已有可操作的流程模擬、信任邊界與 evidence schema;sample diff 與 test output 都是示意,尚未連 repository、建立 sandbox 或執行測試。

NEXT EXPERIMENT

在授權的低風險 repository 建立隔離 worktree,真實產生一個小型 diff、執行 tests 並輸出 evidence pack;先不 push branch 或建立 Draft MR。

SUCCESS CRITERION

同一個小型 ticket 可重播產生可 review 的 diff、綠燈測試與完整 evidence pack,而且 reviewer 能指出每個 claim 的來源。

KILL CRITERION

若 reviewer 仍需重做主要推理、隔離成本高於節省時間,或 agent 無法穩定遵守 protected surfaces,就停止擴大自動化。

WORKING VERTICAL SLICE

從 ticket intake 到 evidence pack,直接操作目前可驗證的邊界。

開啟 TicketForge prototype

THE OPPORTUNITY

真正昂貴的不是寫出 diff,而是證明這個 diff 值得被 review。

Ticket 往往缺少 acceptance criteria、repository 脈絡與隱含限制。只讓 agent 直接改 code,會把需求誤解、prompt injection 與供應鏈風險一起帶進 branch。

TicketForge 的交付單位不是程式碼,而是 implementation plan、語意 commits、測試結果、sandbox 驗證、風險與 unknowns 組成的 proof-carrying change。

SYSTEM BLUEPRINT

從 untrusted ticket 到 human-approved Draft MR 的六段式工廠

01Qualify

驗證作者身分與允許 scope;把 ticket 內容視為 untrusted input

02Ground

透過 RelayOps 尋找 repo、文件、owner 與歷史 MR

03Plan

產生修改範圍、測試策略、風險與明確 unknowns

04Forge

在隔離 worktree 修改、分段 commit、lint、test 與 scan

05Prove

部署 ephemeral sandbox 並驗證 acceptance criteria

06Handoff

人類核准後 push branch、建立 Draft MR 與 evidence pack

DESIGN PRINCIPLES

讓自主性增加產出,不增加未經檢查的權限。

01 / UNTRUSTED INPUT

Ticket 與 code comment 都不是指令

外部文字先經 provenance、prompt-injection 與 scope gate,再轉成可執行計畫。

02 / SANDBOX FIRST

所有寫入先留在隔離環境

每個 ticket 使用獨立 worktree、filesystem boundary 與 network allowlist,不載入 production secrets。

03 / PROTECTED SURFACES

高風險檔案預設 deny

CI、IAM、secret、deployment 與 dependency 變更需要額外 policy 或直接升級給人。

04 / HUMAN HANDOFF

Push 與 MR 是明確交接點

工程師先檢查 diff、測試證據與風險;agent 沒有 approve 或 merge 自己變更的能力。

MEASUREMENT PLAN

用 reviewer effort 與 escaped risk 證明 agent 真的減少工作。

TTD

Ticket to first reviewable Draft MR

GREEN

首次 pipeline green rate

Δ

Reviewer edit distance before approval

0

Unauthorized push、secret exposure、self-merge target

這些是實驗的量測方法,不是現在已達成的成果。

IF THE EXPERIMENT PASSES

我會把 agent orchestration、sandbox 與 Git governance 做成同一條 evidence pipeline。

  • Ticket ingestion、trust classification 與 acceptance criteria compiler
  • repository grounding、plan agent 與 bounded coding loop
  • ephemeral worktree、container sandbox 與 egress policy
  • test / security gates、evidence manifest 與 commit strategy
  • human approval、GitLab branch push 與 Draft MR automation

RELATED SYSTEM VISION

若 vertical slice 通過驗證,未來可銜接 OpsTwin,在進 production 前重播變更風險。

閱讀 OpsTwin 藍圖