我怎麼和 AI 一起工作
- 我打造會附出處、敏感資料只跑在自架模型上的 AI 系統：契約審閱 agent、週報的 AI 產製管線、印刷年報的問答助理。
- 我用 Claude Code 依一套寫下來的循環開發：先寫規格、再做計畫、一個測試一個測試地實作，最後從不只一個角度審查。
- 證照：經濟部 iPAS AI 應用規劃師，2026 年，兩科皆及格（70／76）。 看證照
工作循環
我的開發方式，全部寫成文件。規格和計畫都和程式碼一起存進版本庫。
-
規格
寫下它必須做到什麼，以及絕不能做什麼。
-
計畫
拆成一個個能各自測試的任務。
-
實作
用 Claude Code，一個測試一個測試地寫。每個任務結束時都已測試、已 commit。
-
審查
從不只一個角度看：設計、可執行性、資安，必要時再請第二個模型檢查。
下一段工作
在我的系統裡，AI 不准做的事
五條規則，每一條都實際寫進了一個系統，可以點進去看。
-
負責產生的模型，絕不自己驗證自己。
每一題生成的考題，都由第二個模型盲答一次；答案不一致或信心不足的直接丟掉。
實作於 iPAS 適性化模擬考
-
視覺模型絕不重打文字，只決定順序與結構。
文字直接取自 InDesign 原檔；視覺模型只負責把版面上的文字區塊排成閱讀順序。
實作於 六十影響報告書
-
圖片放哪裡由程式決定，不靠 LLM 猜。
每張圖的位置依它在原始文件中的標題路徑決定；LLM 只在單筆記錄內整理文字。
實作於 慈濟年報
-
代理起草，人來 commit。
每一輪結束後代理只提出 commit 提案；在人確認、修改或捨棄之前，什麼都不會寫進 git。
實作於 WebForge
-
判斷交給代理，證據留在程式。
工具負責傳遞證據、儲存結果；報告格式與流程分派維持固定、可預期。
實作於 legit
實務領域
七個領域，等級規則和能力頁相同。展開即可看技巧、原則與佐證。
-
檢索
經過驗證 (等級 4 / 5)我做的檢索都必須交代出處：契約 agent 要對到法條，印刷報告書要附頁碼，典藏系統要連回原始紀錄。我也會判斷什麼時候根本不該用檢索。
對應能力 附出處的檢索（RAG）
技巧、原則與佐證
技巧
- 雙路召回：pgvector 與 pg_trgm 並行、各自容錯，再用 Qwen3 reranker 精排並設門檻
- 逐條對齊：把契約切成條款，逐條比對法條，引用時從原始資料逐字回讀
- 多模態入庫：視覺模型只排定 InDesign 版面文字區塊的閱讀順序，文字本身取自 IDML
- 答案標註（第 N 頁）；高分命中展開成整頁；大範圍問題改用入庫時產生的頁摘要
- 以結構化 Markdown 檔加 wiki-link 取代 RAG，並保留日後接 RAG 的介面
- 用 embedding 過濾生成題目中的近似重複
原則
-
RAG 解決的是從大量非結構化文本裡找片段。資料若是結構化、量可控、模型能直接讀檔，就不需要它；等原文多到 context window 放不下，再加 RAG 層。
用結構化檔案寫小說 -
視覺模型從不重打文字，只決定順序與結構。
六十影響報告書 -
報告要引用法條時，一律從原始資料逐字回讀。
legit
-
Agent 與工具
經過驗證 (等級 4 / 5)我用 Claude Agent SDK 做過多個 agent，也替自己的後端寫了原生 MCP server。我的原則是：判斷交給模型，證據與副作用留在程式碼。
對應能力 AI Agent 與工具串接
技巧、原則與佐證
技巧
- Claude Agent SDK session 鎖定單一工作目錄，以 session id 接續對話
- 每個租戶一個原生 MCP endpoint，開場就給「意圖 → 工具」對照
- Agent SDK ＋ Playwright MCP ＋ 專案內 Skills 做瀏覽器自動化
- Skill 自我修復：選擇器失效時依序試備援、擷取 DOM、找出新候選並升為主要，寫回 learned.json
- 管線每一步各自是一份 SKILL.md，當作 system prompt 載入
- 護欄：每回合工具用量上限、送出防護、進 git 前的確認步驟
原則
-
判斷在 agent，證據在程式碼。工具只負責傳遞證據、儲存結果；報告格式與路由維持確定性。
legit -
Agent 起草，人來 commit。
WebForge -
MCP 介面是寫給模型用的：每個錯誤附修正建議，破壞性工具支援 dry_run，重複的工具就砍掉。
drust
佐證
- drust 每租戶原生 MCP，instructions 為意圖 → 工具對照；v1.37 砍掉重複工具，讓模型第一次就選對
- WebForge 以 Claude Agent SDK 做的對話改網站工具，從對話到 commit，3 天完成
- 發票收集 Agent Agent SDK ＋ Playwright MCP 自動下載廠商帳單；每家廠商的 skill 會自己修復選擇器
- legit 契約風險評估 agent，逐一顯示工具呼叫，最後交出結構化評估
- 慈濟週報 AI 管線 Claude Agent SDK 解析並改寫每期週報，停用工具並設兩段逾時預算
-
評測
實際使用 (等級 3 / 5)AI 的輸出我會先拿固定的評測集量過才相信，難看的數字也照樣留下。評測集目前都還小。
對應能力 LLM 評測
技巧、原則與佐證
技巧
- 用真實案例組 golden set，每案跑 3 次，看跑與跑之間的一致率與失敗數
- 逃逸率逐跑計算，不只看多數決
- 設 hit@1 下限，每次改檢索都要重新通過
- 生成語音以 ASR 回轉加長度感知 CER 當品管閘門
- 生成考題用雙模型答案驗證閘門
- 小型評測 harness，讓 Claude 跑固定的 MCP 任務
原則
-
改了檢索就重跑評測；hit@1 不得低於記錄下來的下限。
legit -
多數決總表會把單一跑的逃逸遮掉，所以逃逸要逐跑算。
legit -
出題的模型絕不驗證自己的產出。
iPAS 適性化模擬考
佐證
- legit 10 件真實案例的 golden set（9 件計分、共 27 跑）：三跑一致率 56% → 81%，失敗跑 10 → 2；案型準確率仍只有 44%
- iPAS 適性化模擬考 1,794 題生成變體通過第二個模型的盲答驗證；答案不符或信心不足即淘汰
- 語音收集品管迴路 每句生成語音都用 ASR 轉回並算 CER，不合格的句子進補錄佇列
- drust MCP 上手評測 harness：讓 Claude 跑 5 個固定任務並替工具呼叫軌跡計分；實機前後對照尚未執行
-
本地模型
實際使用 (等級 3 / 5)處理敏感文本（契約、典藏資料）的 AI 我用自架的開源模型，資料不會離開組織；處理已公開內容的週報管線則用 Claude。我會為延遲調校模型，金鑰只放在伺服器端。
對應能力 自架模型
技巧、原則與佐證
技巧
- Qwen3 embedding（2,560 維）、Qwen3 reranker、Qwen3 視覺模型，經 OpenAI 相容 gateway 呼叫
- 需要低延遲的地方，關閉推理模型的 thinking
- gpt-oss-120b 與 Qwen3.6 分別擔任出題者與驗證者
- Gemma 4 GGUF 跑在 llama.cpp 上，搭 Open WebUI，工具以 MCP 提供
- 在 Apple Silicon 上用 MLX 跑 Qwen3.6
原則
-
API 金鑰只留在後端，永遠不進瀏覽器。
即時字幕 -
不做遮罩：模型在內部自架，契約可以完整讀；日誌不含個資。
legit -
只在模型邊界做字級簡繁轉換；詞彙級轉換會讓語音模型唸出不同的詞。
語音收集品管迴路
-
語音
做過 (等級 2 / 5)我從頭到尾做過語音管線。即時字幕與語音收集目前是原型；週報的文字轉語音則已在內部正式管線中運作。
對應能力 語音辨識與合成
技巧、原則與佐證
技巧
- 瀏覽器收音 → VAD → ASR → 翻譯 → 透過 WebSocket 廣播到房間
- 每句字幕以 id 為鍵覆寫，先出暫定字再出定稿
- 保守的跨句糾錯，以拼音當護欄
- 繁體由 OpenCC 在程式碼中轉換
- TTS 旁白配上與語音對齊的字幕時間碼，以 ffmpeg 組片
原則
-
糾錯要保守：只改同音字，有拼音護欄；乾淨的句子原樣回傳。
即時字幕 -
繁體由 OpenCC 確定性地轉換，不交給模型。
即時字幕 -
錄音品管與生成驗證共用同一個 CER 函式。
語音收集品管迴路
佐證
- 即時字幕 中文即時轉英文字幕，2 天做出可用版本；延遲設計把靜音判定從 600 ms 縮到 500 ms，並每 1 秒送出暫定字幕
- 語音收集品管迴路 語音收集與 CER 品管閉環；聲音克隆尚未開通
- 慈濟週報 AI 管線 週報每篇文章自動產生 TTS 音檔
-
AI 原生開發
基石 (等級 5 / 5)我用 Claude Code 照一套寫下來的流程開發：規格、計畫、逐項測試實作，再從多個角度審查。我就是這樣交付的，也直說。
對應能力 AI 原生開發
技巧、原則與佐證
技巧
- spec → plan → implement → review，規格與計畫存進 docs/superpowers
- CLAUDE.md 寫明專案事實與紅線，給任何進來的 agent 先讀
- 依任務派 subagent：機械性工作用 Sonnet，需要判斷的用 Opus
- 跨模型分工：正式 migration 由 Codex 撰寫，Claude 規劃每個批次，並逐支對照活資料庫驗收
- 只增不改的決策紀錄，以及自己寫的稽核報告
原則
-
每個任務結束時都能獨立測試並 commit。
即時字幕 -
派 subagent 每次都明確指定模型：機械用 Sonnet，判斷用 Opus。
legit -
改判斷邏輯的順序：先改 skill 檔，再改程式、再補測試，最後回讀一次。
legit
佐證
- drust 約 4 個月做到 v1.66；開源（AGPL-3.0），已支撐 6 個慈濟網站與工具
- WebForge 3 天做出可運作的原型，M1 到 M4 共 5 份計畫、3 份規格
- legit 約 5 週完成，73 份規格與計畫文件、一份只增不改的決策紀錄
- 數典網 1.5 spec → plan → implement → review 循環；正式 migration 由 Codex 撰寫，Claude 規劃每個批次並逐支對照活資料庫驗收
- 慈濟週報 AI 管線 repo 內有 22 份規格與計畫
-
教學與推廣
做過 (等級 2 / 5)我幫非工程師開始用 AI。在工作上寫過操作手冊，也做了一整套課程；實際開課情形這裡沒有紀錄。
對應能力 教非工程師使用 AI
技巧、原則與佐證
技巧
- 課程內容資料化：同一份 manifest 是教學影片與講師手冊共同的內容來源
- 2 小時講座，8 章、60 個場景
- 把 Markdown 當結構來教，而不是排版
- 替同事寫操作手冊與最佳實踐文件
原則
-
結構，就是 AI 的導航地圖。
非工程師的 Claude 實戰課 -
它負責產草稿，你負責判斷與定稿：委派、描述、判斷、負責，四步缺一不可。
非工程師的 Claude 實戰課
佐證
- 非工程師的 Claude 實戰課 給行政、文書、企劃人員的 Claude 實戰課，影片與講師手冊皆取材自同一份 manifest（手冊骨架由腳本產生，再人工補寫）
- 關於 撰寫操作手冊與最佳實踐文件，降低同仁採用 AI 工具的學習曲線（履歷）
以天計的開發
從第一份規格到所述成果，實際經過的時間。
- 3 天 WebForge 可運作的原型
- 2 天 即時字幕 可運作的中翻英即時字幕
- 19 天 身分平台 概念驗證
- 約 6 週 iPAS 適性化模擬考 適性化模擬考系統，之後用它考過鑑定
- 約 4 個月 drust 從開工到 v1.66