Skip to content

量測解鎖:離線 token 估算+quality_log 結構化欄位+escaped-defect 登記 #61

Description

@benwu95

背景

兩個量測缺口:

  1. token harness 因無 API key 停擺scripts/measure/providers.ts 走真實 REST 呼叫(envKeys/apiKey() 找不到憑證即無法送測)。before hash 已凍結(650fc385)、runbook 完整,但三組報告 pending 至今——所有 context 節省宣稱(如「省 70-80% token」)零實測支撐
  2. 準確度指標不存在:現有基建只量成本(harness)與一致性(drift checker),「skill 套件提升實作準確度」目前是 unmeasured 因果宣稱;且已有兩個 escaped defects 前科(init clobber P0、issue prospec 的升級流程並沒有涵蓋完全 #48 以 Grade A 出貨)卻無登記機制

範圍

  1. prospec measure 加離線估算 mode:用現成 lib/token-accounting 計 size,無 API key 也能追蹤(真正需要 API 的只有 cache-behavior 量測)。另外,上網搜尋 LiteLLM 能否達成更準確的估算,如果更精準,考慮用 LiteLLM
  2. metadata quality_log 加結構化計數欄位:criticals/majors found→fixed、verify 各維度結果——讓品質趨勢可機器聚合
  3. escaped-defect 登記約定:bug-fix change 的 metadata 加 introduced_by 欄位回指漏掉它的 change,讓 gate 漏接率可追蹤

明確不做

API key 的配置屬 ops,不在本 issue 範圍(配好後直接跑既有 runbook 即可)。

驗收條件

  • 無 key 環境下 prospec measure 可產出 size 報告
  • 新 change 的 quality_log 帶結構化欄位(schema 驗證)
  • introduced_by 欄位有格式約定與範例

來源

稽核報告 03-F3、05(.tasks/chore/scan-by-fable5/,2026-07-03)

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions