關於

關於 VerifiQuant

論文

VerifiQuant: Governance-by-Execution for Financial LLM Workflows. Yu-Chi Ko, Mi-Yen Yeh, Shou-De Lin. 收錄於 Proceedings of the 7th ACM International Conference on AI in Finance (ICAIF '26),義大利米蘭,2026 年 11 月 14 至 17 日,ACM 出版。doi:10.1145/3858063.3858688。以 CC BY 4.0 授權發表。

這個網站有什麼

  • 論文重播。R-PAL、R-PAL+ 和 VerifiQuant 在全部 80 題陷阱題和三題乾淨題上的實際輸出,取自論文表格背後的那幾次執行,用論文自己的計分程式評分。這一頁不呼叫任何模型。
  • 驗證過的修改。貸款合約宣告的期初付款轉換,由論文評估的同一個驗證器即時檢查,同樣不呼叫模型。
  • 直接試用。完整的漏斗,跑在論文用的 250 張合約上,檢索前 4 名,模型是 Gemini 2.5 Flash。選合約、填數值和判斷歧義都是 LLM 步驟,所以即時結果可能和紀錄裡的不一樣。

中文介面只翻譯網站本身。題目、合約內容、實驗紀錄和即時的模型輸出都保留英文原文,因為翻譯它們會改變紀錄的內容。

系統保證什麼,不保證什麼

  • 算術不經過模型。數字只會由合約自己的程式算出來,而且要先通過每一道關卡。
  • 輸入只檢查格式和範圍,不檢查來源。關卡看不出一個填進去的數值是不是從正確的欄位拿來的。
  • 紀錄可以照原樣重跑。確定性的步驟會依照儲存下來的綁定重新執行。如果從原始題目重新跑一次,走的路徑可能不同。
  • 修改的驗證是有範圍的數值檢查,不是形式上的等價證明:修改後的結果要在取樣的輸入上符合宣告的不變式。
  • 在庫外,它給的是範圍訊號,答題數沒有變多。這裡的庫外是指公式家族不在合約庫裡,題目仍來自同一個基準資料集。

實驗設定

模型Gemini 2.5 Flash,所有比較的系統都一樣
合約庫250 張 FIC,離線建立,執行時固定
檢索以 BM25 比對合約描述,取前 4 名
每題的 LLM 呼叫選合約、填數值、判斷歧義
驗證AST 大小上限加上數值不變式檢查
部署Python 3.11、Flask、SQLite、Google Cloud Run

致謝

本研究部分由國家科學及技術委員會(計畫編號 113-2628-E-001-003-MY4)、國立臺灣大學與中央研究院創新合作計畫(AS-NTU-114-06),以及中央研究院資訊科學研究所與資訊科技創新研究中心支持。

聯絡

Yu-Chi Ko,國立臺灣大學與中央研究院 資料科學學位學程。r14946005@ntu.edu.tw。其他作品請見datafox.tw。