題庫與出題系統工作坊

講義: Codex 版

切換到 Claude 版 (留在同一個步驟)

上課時照這一頁從上往下做。每一步都寫了你要對 Agent 說的話 (黃色的框, 按「複製」再貼到對話框) 與應該看到的結果。Agent 每次的用字不會完全一樣, 重點對得上就好。

這份講義的步驟與設定是 2026 年 11 月 22 至 23 日實際測試過的。Agent 改版後畫面與行為可能不同。

三條鐵律 — 整堂課都守這三條:

  1. 出題與詳解分兩步: 先審題目, 定案後才寫詳解。
  2. AI 寫的答案必須經過獨立驗證才能用。
  3. 你是最後的把關者: 入庫、選題、定稿都由你確認。

開始之前

步驟 1開啟資料夾並執行檢查

  1. 打開 VS Code, 選單 檔案 (File) > 開啟資料夾 (Open Folder), 選 testbank-starter 資料夾。
  2. 出現「你是否信任此資料夾中檔案的作者?」時選 是, 我信任作者。
  3. 選單 終端機 (Terminal) > 執行工作… (Run Task…) > 檢查環境。

應該看到: 下方面板最後出現「★ 全部通過, 可以上課 ★」。課前已經通過的老師, 這次只要幾秒鐘。沒有通過的項目請舉手。

步驟 2安裝兩個擴充功能

擴充功能 (extension) 是加裝在 VS Code 裡的小工具。要裝兩個: 一個用來在 VS Code 裡看 PDF, 一個是 Agent 本身。

  1. 點 VS Code 最左邊那排圖示裡的四個方塊 (擴充功能)。
  2. 在上方搜尋框輸入 @recommended 再按 Enter, 會列出這個資料夾建議安裝的三個擴充功能。
  3. 安裝下面這兩個, 各按一次藍色的 安裝 (Install)。清單裡的第三個是另一種 Agent, 不用裝。
  • LaTeX Workshop (發行者 James Yu)
  • Codex (發行者 OpenAI, 名稱旁有藍色勾勾; 完整名稱是 Codex – OpenAI's coding agent)

請從這份建議清單安裝, 不要自己搜尋。市集裡有名稱很像的非官方擴充功能。

應該看到: 最左邊那排圖示多了一個 Codex 的圖示。點它, 會打開 Codex 的對話面板。

步驟 3登入

  1. 點左邊的 Codex 圖示打開面板。
  2. 按 Sign in with ChatGPT, 它會打開瀏覽器, 在瀏覽器裡登入你的 ChatGPT 帳號, 再回到 VS Code。

應該看到: 面板下方出現可以打字的對話框。

步驟 4確認模型與設定

對話框下方有幾個小選單, 顯示目前用的模型 (Agent 的大腦是哪一顆) 與它想多仔細。

請調成這樣:

項目 設定
模型 GPT-6.2 Sol (不是的話請改選)
推理強度 Medium 或更高 (如果顯示 Low, 一定要改)
權限模式 Ask for approval (預設值, 不用改)

推理強度是 Low 的時候, Codex 會抄捷徑 — 實測時它把整份解答直接裁成圖片貼進題庫, 三分鐘就說做完了。請務必調到 Medium 以上。

步驟 5第一次使用的設定

登入後, Codex 會請你做一個 Windows 設定 (畫面上有一個設定按鈕)。這是在建立「保護模式」: 讓 Codex 只能改動這個資料夾裡的東西, 動不到電腦的其他地方。(Mac 沒有這一步。)

  1. 按下設定按鈕。
  2. Windows 問「你要允許此應用程式變更你的裝置嗎?」時按 是。

應該看到兩種結果之一, 兩種都可以繼續上課:

  • 設定成功 — 直接往下一步。
  • 設定失敗 (多半是電腦沒有管理員權限) — 畫面上會出現 Continue without administrator access, 按它。這個模式的保護比較弱一級, 但 Codex 仍然只能修改這個資料夾裡的東西。

步驟 6Agent 停下來問你的時候

上課過程中, Agent 會在兩種情況停下來等你:

第一種: 它在問你問題。 例如「這一題沒有解答, 要怎麼處理?」「考試名稱要叫什麼?」。這是流程的一部分 — 該由老師決定的事, 它不會替你決定。直接在對話框回答就好。

第二種: 它在請你允許它做某個動作。

Codex 的預設模式是「需要時才問」, 所以偶爾會跳出像「允許 ChatGPT 編輯下列檔案嗎?」的視窗 (實測整堂課零到一次)。這不是出錯, 是保護機制在運作: Codex 被限制只能在這個資料夾裡做事, 遇到它不能自己確定可以做的動作, 就會停下來問。判斷方式:

  1. 看路徑: 它要動的檔案是不是在 testbank-starter 資料夾裡面? 例如 …/testbank-starter/courses/macro/output/…。
  2. 看事情: 它要做的是不是你剛才交代的事的一部分?

兩個都是 → 按允許。有一個不是, 或看不懂它要做什麼 → 先不要按, 在對話框問它:

對 Agent 說
你為什麼要做這個動作? 用白話說明。

視窗上如果有「這次對話都允許」之類的選項: 它的意思是同一類動作之後不再問。上課時可以選; 回家自己用時, 建議還是一次一次看。

課堂上不會刻意幫你避開這些詢問。回家自己用的時候沒有人在旁邊, 所以現在就練習怎麼看、怎麼判斷。

步驟 7下載教材包

教材包裡是上課要用的考古題與示範題庫, 只在上課當下開放。

  1. 講者宣布開放後, 到教材包頁面按下載, 得到 teaching-pack.zip。
  2. 把它解壓縮到 testbank-starter 資料夾裡面: 在壓縮檔上按右鍵 >「解壓縮全部」, 目的地選 testbank-starter 資料夾。如果問「是否取代檔案」, 選是。

應該看到: VS Code 左邊的 courses 底下多了兩個資料夾:

  • macro — 總體經濟學: 六個學年度的期中考卷與解答 (放在 raw), 其中四年已經建成題庫
  • econ-principles — 經濟學原理: 一套已經建好的示範題庫 (一千多題)

教材包的內容有著作權, 僅供這堂課練習, 請不要轉傳或放到網路上。

第一部分 建題庫

目標: 把 97 學年度的期中考卷與它的解答, 整理成題庫裡的題目檔。約 25 分鐘。

你會看到 Agent 讀考卷與解答、逐題抄成題目檔、標上章節與難度, 然後做出一份預覽請你核對。你核對通過並同意之後, 題目才算進了題庫。

步驟 1請 Agent 建題庫

在 Codex 的對話框貼上:

對 Agent 說
幫我把 courses/macro/raw 裡 97 學年度的期中考建成題庫。

應該看到: 它先用兩三句話說明接下來要做什麼, 然後開始讀檔。這一段要等幾分鐘。它會找到考卷 097-1-midterm.pdf 與解答 097-1-midterm-solution.pdf。

步驟 2回答它的問題

它讀完後會停下來, 把拿不準的事一次列出來問你, 每一項都附它的建議。常見的有:

  • 有一題沒有解答, 要怎麼處理? (教材包故意拿掉了一題的解答。) 請選「由 Agent 撰寫」。
  • 原卷某處疑似筆誤、某題的難度該標幾級之類: 採用它的建議即可。

可以這樣回:

對 Agent 說
沒有解答的那一題由你撰寫。其他照你的建議。

應該看到: 它替那一題寫解答, 並且用第二種方法再算一次來驗證 (鐵律 2)。它會告訴你兩種方法的結果是否一致。

步驟 3核對預覽

它會做出一份預覽 PDF (在 courses/macro/output/_preview/ 底下), 請你核對。

  1. 在左邊檔案清單點開那份預覽 PDF。
  2. 再點開 courses/macro/raw/097-1-midterm.pdf (原卷)。把其中一個分頁拖到右邊, 兩份並排。
  3. 挑一兩題對照: 題目文字、數學式、小題數有沒有抄對; 每題上方的章節、難度合不合理。

課堂上時間有限, 挑一兩題看就好。真正建自己的題庫時, 這一步要逐題看 — 你是最後的把關者 (鐵律 3)。

點開 PDF 看到一堆亂碼? 代表 LaTeX Workshop 還沒裝好, 回到開始之前的步驟 2。

核對完, 回覆:

對 Agent 說
預覽無誤。

步驟 4同意入庫

應該看到: 它沒有直接把題目收進題庫, 而是再問你一次是否同意入庫。「預覽看起來沒錯」和「同意收進題庫」是兩件事, 它必須得到你明確的同意。

對 Agent 說
同意入庫。

應該看到: 一份入庫報告 — 收了幾大題、各屬哪些章節、題目性質 (計算、觀念…) 與作答形式各幾題、解答來源 (原始解答幾題、Agent 撰寫幾題)。

做得快的老師, 可以用同一句話把 98 學年度也建進去。

第二部分 出一份期中考

目標: 請 Agent 比照題庫的風格新出兩大題, 做成一份期中考, 附詳解。約 35 分鐘。

這一部分最能看出三條鐵律: 你會先拿到只有題目的題目卷; 你定案之後, 它才寫詳解並驗證。

步驟 1提出需求

對 Agent 說
用 macro 的題庫出一份期中考: 整份只要 2 大題, 兩題都是新出的題目 (不從題庫選), 風格與難度比照題庫裡的期中考。

應該看到: 它沒有馬上出題, 而是先把還沒講明的條件一次列出來問你 (範圍、語言、考試名稱、配分、頁首…), 每一項附建議, 然後停下來等。

步驟 2回答出題條件

你可以採用它的建議, 也可以照下面這樣回 (內容可以自己改):

對 Agent 說
範圍: 四章都可以考。語言: 中文。考試名稱:「期中考模擬卷」。配分由你提議, 總分 100。頁首左側不印, 右側印「2026 年秋季」。不要注意事項。

應該看到: 它開始出題, 過幾分鐘交出一份題目卷 PDF, 並告訴你頁數、每題考什麼、配分。

步驟 3審題

點開題目卷 PDF (在 courses/macro/output/ 底下以考試命名的資料夾裡, 檔名結尾是 -draft.pdf)。

確認一件事: 題目卷上沒有任何答案。 這是鐵律 1。這時候就算你說「順便把答案寫一寫」, 它也會告訴你答案要等定案之後才寫。

看題目合不合意。不滿意的題目可以淘汰 (它會把那一題留在題庫裡但標成「淘汰」並記下原因, 之後不會再被選到), 例如:

對 Agent 說
第 2 題淘汰, 原因是計算太繁瑣。請補一題新的。

課堂上時間有限, 建議直接定案:

對 Agent 說
兩題都留用, 定案。

步驟 4看驗證與詳解

應該看到: 定案之後它才開始寫詳解。寫完後, 每一題它都會用第二種方法獨立再算一次 (例如換一種推導方式, 或寫一小段程式代入數字驗算), 兩種結果一致才算通過。這一段要等幾分鐘。

完成後它會交出兩份 PDF, 並報告每題用什麼方法驗證:

  • 考卷 (檔名結尾 -paper.pdf) — 給學生的, 沒有答案
  • 詳解 (檔名結尾 -solution.pdf)

點開詳解看一下。沒問題就回覆:

對 Agent 說
詳解沒問題。

驗證通過不代表不用看。Agent 的驗證能抓到算錯, 抓不到「題目本身出得不好」。詳解請自己讀過。

步驟 5用說的修改考卷

你不需要會 LaTeX。想改什麼, 用白話告訴它就好。挑一個試試:

對 Agent 說
把考卷的中文內文改成標楷體, 標題維持黑體。
對 Agent 說
第 1 題的配分改成 60 分, 第 2 題 40 分。
對 Agent 說
考卷排緊一點, 盡量排在一頁內。

應該看到: 它改完後重新產生 PDF, 並告訴你改了什麼、現在幾頁。

第三部分 用現成的題庫出考卷

目標: 從已經建好的示範題庫 (經濟學原理, 第 13 到 17 章) 選題, 出一份小考; 再用同一批題目出一份中文版。約 25 分鐘。

和第二部分不同: 這次題目與答案都是題庫裡現成、已經核可過的, 所以快得多。這就是題庫建好之後的日常用法。

步驟 1提出需求

下面是範例。請自己改範圍與題數 (章節在第 13 到 17 章之間選), 每個人出的考卷會不一樣:

對 Agent 說
用 econ-principles 的題庫出一份小考: 第 14 和 15 章, 10 題選擇題加 2 題簡答題, 難度 1 到 3, 全部從題庫選, 用英文。

應該看到: 它一樣先問還沒講明的條件 (考試名稱、配分、頁首), 然後停下來等。

步驟 2回答條件並審題

對 Agent 說
考試名稱 Quiz 1。選擇題每題 6 分, 簡答題每題 20 分。頁首右側印 Fall 2026。不要注意事項。

應該看到: 一份題目卷, 並說明它選了哪些題、為什麼。不想要的題目可以請它換掉。滿意就定案:

對 Agent 說
全部留用, 定案。

應該看到: 考卷與詳解兩份 PDF。詳解用的是題庫裡原有的答案, 它不會改寫; 如果它對某一題的原答案有疑慮, 會先提出來問你。

步驟 3出一份中文版

對 Agent 說
同一批題目再出一份中文版, 考試名稱「小考一」。

應該看到: 中文版的題目卷; 定案後得到中文的考卷與詳解。交件時它會列出「替你決定的事」(例如課名與專有名詞怎麼翻), 這些都可以請它改。

題庫裡的題目檔沒有被改動 — 譯文只存在這一份考卷裡。題庫是你的資產, Agent 出考卷時只讀不改。

課後: 用在自己的科目

從同一個資料夾開始

繼續用這個 testbank-starter 資料夾。對 Agent 說:

對 Agent 說
我要為〈課名〉建題庫。

它會在 courses 底下建立新的課程資料夾, 並告訴你接下來要準備什麼:

  1. 原始檔 — 把你的考卷、解答、習題放進新課程的 raw 資料夾。PDF、Word、LaTeX 原始檔、掃描檔都可以。放進去之後它只讀不改。
  2. 章節表 — 這門課有哪些章節。可以把課程大綱或課本目錄給它, 請它草擬, 你再修改。之後每一題的章節都只能從這張表裡選。
  3. 然後就和今天一樣: 「幫我把 raw 裡的 ○○ 建成題庫」→ 核對預覽 → 同意入庫 → 「用題庫出一份 ○○」。

使用自己的考卷前請留意

  • 著作權: 教科書出版社提供的題庫, 通常只授權給採用該書的授課教師使用, 不能公開散布。自己出的考題沒有這個問題。
  • 考題外流: 你放進資料夾的檔案會送到 Anthropic 或 OpenAI 的伺服器讓 Agent 讀。還沒考過的考題, 請自行衡量; 也可以到帳號的設定裡確認「不要用我的資料訓練模型」的選項。
  • 不要把題庫資料夾放到公開的地方 (公開的雲端連結、公開的 GitHub 等)。

回家之後會遇到的事

  • Agent 停下來請你允許某個動作: 照今天練習的方式判斷 — 看路徑、看是不是你交代的事, 不確定就先問它。
  • Agent 的回答和講義不一樣: 正常。它每次用字不同, 也會隨版本改變。它該守的規矩寫在資料夾裡的兩個 skill 中; 覺得它沒照規矩做, 可以直接說「請照 skill 的步驟做」。
  • 用量: 建題庫與新出題比較花用量。出現用量上限的提示時, 等它說的時間過後再繼續, 進度都在資料夾裡, 不會不見。
  • MiKTeX 的更新 (Windows): 因為是「為所有使用者安裝」, 更新時要從開始功能表開啟 MiKTeX Console, 選「切換到管理員模式」再更新。不更新也能用。
  • 備份: 整個 testbank-starter 資料夾就是你的題庫, 定期複製一份到別的地方。

有問題歡迎來信或下次見面時問。