‹ 返回文章列表

有依據的 AI 回答必須呈現什麼

稽核 AI 回答時,請檢查每個來源支援什麼、數字如何定義、適用哪些日期,以及哪些內容仍屬未知,然後再依據結論採取行動。

兩個 AI 回答可以引用相同的專案文件,卻值得不同程度的信任。一個回答可能說,由於大部分任務已經完成,專案已可以移交。另一個回答可能說明,最新的檢查清單仍缺少一項必需的除錯驗收簽字,因此尚不能確定已準備好移交。兩者聽起來都合理,但只有第二個讓決定性的缺口變得可見。

一個有依據的業務回答,應當幫助讀者審視其結論與現有證據之間的關係。附上一份文件清單只是開始。更難的工作是說明哪個來源支援哪項論斷、這些來源實際上能證明什麼,以及回答在哪些地方超出了它們。

讓問題具體到可以驗證

設想一個假設的專案 Meridian,計畫於 2026 年 10 月 9 日向客戶移交。10 月 7 日,一位協調員問:「我們準備好移交了嗎?」現有材料包括一份進度摘要、一份移交檢查清單,以及一個裝有除錯文件的資料夾。

「準備就緒」可能意味著安裝在物理上已經完成、所需的證明材料已經簽署,或客戶已經接受成果。回答需要明確相關的含義。在這個例子中,團隊把「準備就緒」定義為:當前移交檢查清單中的每一項必需事項均已完成,包括除錯驗收簽字。

範圍同樣重要。協調員問的是 Meridian 當前階段的情況,而不是該客戶的所有專案。審查日期是 10 月 7 日。有用的回答應當守住這一邊界,而不是從覆蓋整個客戶的摘要或未來計畫中泛化推斷。

如果助手無法確定所涉階段或適用的檢查清單,那麼請求澄清就是回答的一部分。憑猜測作答,只會製造表面上的精確,卻無法確定究竟在判斷什麼。

把每項重要論斷與其證據聯絡起來

假設進度摘要將安裝描述為已完成。當前檢查清單顯示,十項必需事項中有九項已簽字。剩下的一項需要一份除錯證書,而檢索到的證書仍未簽署。

如果回答說「Meridian 已完成 90%,週五可以移交」,就是把一個計數和一個就緒判斷混在了一起。十項中有九項已簽字,是關於檢查清單的陳述。它並不能證明最後一項是可選的、會按時完成,或客戶已經接受移交。

一個更便於審視的回答會這樣說:「截至 10 月 7 日,尚不能確定已準備就緒。檢查清單修訂版 3 中有九項必需事項已簽字。除錯驗收簽字仍未完成。進度摘要報告安裝已完成,但這並不能滿足該項要求。計畫移交日期仍為 10 月 9 日。」

支援性引用應當指向檢查清單、相關的簽字欄位、進度摘要和排期。引用整個專案資料夾,等於讓稽核人自己去重建證據之間的關係。引用到章節、記錄或文件版本,能讓這項工作更易於處理。

讓證據存取與讀者的權限保持一致。如果讀者無法檢視某個必要的來源,請提供適當的稽核途徑或獲准的摘錄。用一個權威的結論掩蓋存取限制,會削弱稽核。

展示數字背後的定義與時間

計數、百分比和總數看起來很客觀,但其含義取決於所用的統計範圍和規則。在 Meridian 的例子中,「十項中有九項」統計的是已簽字的必需檢查清單事項。它衡量的不是安裝工作量、財務完成度、風險或已用時間。

如果回答中包含百分比,請說明這一定義,並說明分母來自哪個版本的檢查清單。來自較早修訂版的計數,可能在算術上依然正確,卻無法反映當前的要求。

日期也需要同樣謹慎。文件的發布日期、最近一次修訂、報告截止時間和檢索時間,回答的是不同的問題。關於 10 月 7 日情況的回答,不應悄悄納入之後發生的變更。關於今天情況的回答,應當說明某個重要來源最後一次被檢查是什麼時候。

有用的精確來自對這些邊界的說明。小數位再多,也無法彌補統計範圍的不明確,或來源已不再適用。

區分觀察、推斷與建議

某個來源可以證明某個事項尚未簽字。助手可以據此推斷:按照團隊的規則,就緒狀態尚未得到確認。它還可以建議請相應的負責人確認簽字狀態。這些是彼此相關、但依據各不相同的陳述。

把它們分開呈現,讀者就能針對正確的部分提出質疑。記錄的事實可能正確,而規則已經過時。規則可能正確,而檢索到的副本缺少一個最近才完成的簽字。建議可能合理,卻超出了該使用者的職責範圍。

解釋應當呈現相關的假設和可驗證的步驟,而無需提供模型內部私有推論過程的完整記錄。讀者需要知道適用的規則、證據、計算方法和侷限。一段關於模型如何思考的冗長敘述,並不能替代這些材料。

同樣的區分也適用於預測。「負責人預計明天完成簽字」報告的是一個已表達的預期。「簽字明天就會完成」斷言的是一個未來的結果。回答應當保留這種不確定性,而不是把一個預期變成一個事實。

把衝突和缺失的證據當作回答內容

現在設想,一封郵件說除錯已經完成,但當前的證書仍未簽署。助手應當描述這一分歧,並指出缺少的確認。它不應對各個來源取平均、偏向更樂觀的說法,或把重複出現的說法當作額外的獨立證據。

「缺失」的含義也很有限。在檢索到的材料中沒有找到已簽署的證書,確立的是一個檢索結果,並不能證明任何地方都不存在已簽署的證書。回答可以說明檢查了什麼、缺少什麼,以及哪個額外的來源可以解決這個問題。

當一次搜尋只覆蓋了部分相關材料時,這一點尤其有用。一個範圍窄但明確的回答,能給協調員指出下一步。一個基於不完整覆蓋範圍的自信陳述,則可能讓團隊停止繼續查詢。

在使用時稽核回答

一份簡潔的稽核記錄,能幫助團隊決定是依賴這個回答、請求澄清,還是暫緩決策。

稽核問題需要檢查的證據應當暫停的理由
究竟在判斷什麼?專案、階段、就緒規則和審查日期缺少範圍或規則
每項論斷都有支援嗎?具體的記錄、章節和版本引用相關,但不能證明該論斷
數字可以解讀嗎?統計範圍、排除項和計算方法把百分比當作就緒狀態
證據現在是否適用?生效日期和來源檢查時間某個重要來源已被取代或已過時
還有什麼不確定?缺失的證據和相互衝突的陳述回答把尚未解決的問題呈現為已經解決

對於 Meridian,有用的下一步是與除錯證據的負責人一起核實該證據。一旦證據發生變化,就可以按照同一條就緒規則重新評估回答。助手先前的回應,則仍是當時所確立內容的一份記錄。

安森信的 Cilila 與 Studio 將受治理的上下文和引用融入每一個回答,讓讀者可以按照上文介紹的稽核方法來核對它。