一套實驗室風格的協定，涵蓋語料庫一致性、人工真值、WER、實體、說話者標籤與校正所需時間。

由 HiNoter 可重現性基準團隊撰寫 · 已接受實驗設計與轉錄指標審查 · 測試與證據狀態：方法已發布；產品行為需要即時驗證 · 發布與更新日期：2026-09-02

公平的轉錄基準測試，會為每個工具提供相同的獲授權音訊、設定機會、輸出期限與評分規則。保留經人工檢查的真值逐字稿；除了報告字錯誤率，也要報告人名、數字、術語、說話者歸屬、遺漏與校正時間；並公布語言、口音、裝置、噪音、參與者人數、時長與正規化政策。不要合併無法比較的供應商準確率聲明，也不要將在不同檔案上測試的工具排列排名。基準測試應回答哪個工具適用於你的會議條件，而不是哪個工具能普遍勝出。針對「AI 轉錄基準測試方法」，請採用以下運作規則：在處理任何候選工具之前，先固定一個具代表性的測試語料庫，並預先註冊評分、正規化、排除、設定、重跑與平手處理規則。

當方法在任何人知道哪個工具會受益之前就已固定，基準測試才會公平。請考慮這個由編輯創作、非客戶情境：採購團隊將一家供應商的乾淨英文示範，與另一家供應商的嘈雜多語言通話進行比較，並發布誤導性的排行榜。這個情境旨在讓「公平比較轉錄工具的方法是什麼？」變得可測試，同時不暴露參與者、員工、病患、客戶或機密會議。

這套可重現的基準測試協定，是為比較轉錄工具的買方、研究人員、編輯與營運團隊所撰寫，避免讓不同的音訊、設定或評分規則決定勝者。它區分第一方文件、觀察到的測試行為、經人工檢查的來源證據與編輯判斷。文件永遠不能取代即時帳戶測試，而無法取得的事實應保留為 N/A。

其所管理的風險很明確：當每個工具收到不同音訊或不同程度的編輯協助時，排名衡量的是測試設計，而非轉錄品質。因此，方法遵循以下標準：在處理任何候選工具之前，先固定一個具代表性的測試語料庫，並預先註冊評分、正規化、排除、設定、重跑與平手處理規則。結果僅適用於已披露的語言、說話者、音訊路徑、設定、日期與審查門檻。

公平的 AI 轉錄基準測試方法始於決策

語料庫必須代表買方實際面對的音訊與後果。

先看證據：使用「正規化」作為驗收項目。通過表示大小寫、標點符號、數字與填充詞均遵循書面規則；失敗界線在於評分偏袒某一種輸出格式。在處理第一個候選工具之前，先固定語料庫與評分規則。

將規則套用到場景中：即使都使用 WER，新聞編輯室與業務團隊也會選擇不同的關鍵詞。這類似「單人口述」案例，其中證據目標是詞彙與實體準確率，而人工界線僅是簡單基準。對這套可重現的基準測試協定而言，重點不是讓輸出看起來能力較弱，而是找出同事可以重現該聲明的確切條件。

決策：在選擇片段之前，先寫下使用案例與失敗成本。基準測試表儲存樣本 ID、音訊條件、真值版本、工具設定、原始輸出雜湊、每項分數、校正時間、排除項目與重跑原因。如果來源鏈中斷，結論就應縮小；如果路徑失敗，就將決策限縮於已測試的條件，在盲測下重跑有爭議的案例，並在採購前使用附有人工作正紀錄的試點。

可重現基準測試協定證據註記： 在依據相關標準、功能或方法之前，請先查閱 NIST — 語音辨識評分工具套件。

執行可重現的轉錄基準測試

報告評分卡

發布 WER、實體與說話者結果、重大錯誤、校正時間、涵蓋範圍、失敗情況、在有充分依據時提供信賴區間，以及限制。最後給出核准、限縮、重新測試或拒絕；如果主要路徑失敗，就將決策限縮於已測試的條件，在盲測下重跑有爭議的案例，並在採購前使用附有人工作正紀錄的試點。

一致地執行候選工具

在已記錄的設定下處理相同檔案，並保留原始輸出，不進行未經說明的清理。將缺失證據記錄為 N/A，並區分觀察到的行為、文件內容與編輯判斷。

固定協定

在查看結果之前，先設定正規化、標點符號、設定、重試、時間限制、評分腳本與排除規則。應以書面預期或經人工檢查的真值作為比較基準，而不是流暢度、視覺修飾或無法解釋的分數。

建立人工真值

由受過訓練的審查者進行轉錄、標記說話者、標註實體、解決歧義，並保留具版本控制的參考資料。使用獲授權且不敏感的素材，並保留重現該觀察所需的來源。

組建語料庫

使用獲授權且具代表性的片段，涵蓋裝置、房間、說話者、口音、噪音、重疊語音與關鍵詞彙。凡會影響結論的項目，都要記錄語言、地區、說話者、裝置、房間、噪音、時長、設定、日期、模型或產品版本，以及審查者。

定義決策

寫下基準測試必須支援的會議類型、語言、失敗成本、審查預算與產品決策。使用以下合成案例界定測試範圍：採購團隊將一家供應商的乾淨英文示範，與另一家供應商的嘈雜多語言通話進行比較，並發布誤導性的排行榜。

語料庫是儀器，不是播放清單

應有意識地涵蓋語言、裝置、噪音、重疊語音、距離與參與者人數。

將「語料庫是儀器，不是播放清單」視為一項運作選擇。只有在以盲測方式衡量人工校正時間時，這項主張才有用。如果排名忽略營運工作量，就停止將未知或矛盾轉換為有利分數。

反例很具體：十個簡單片段無法代表促成採購的工作坊錄音。在「多語言客戶通話」工作流程中，應聚焦於語言切換與人名，並依審查規則保留按語言拆分的結果。對這套可重現的基準測試協定審查而言，應保留足夠的來源情境，以區分辨識錯誤、語言錯誤、說話者錯誤、摘要推論、翻譯偏移或編輯改寫。

下一步是建立條件矩陣並填入每個必要欄位。對這套可重現的基準測試協定而言，只保存獲授權的證據，說明條件，並指派能夠核准、修正或拒絕結果的人員。基準測試表儲存樣本 ID、音訊條件、真值版本、工具設定、原始輸出雜湊、每項分數、校正時間、排除項目與重跑原因。

可重現基準測試協定證據註記： 在依據相關標準、功能或方法之前，請先查閱 NIST — AI 風險管理框架。

人類真實資料需要自身的品質控管

只有在記錄了慣例與分歧時，參考逐字稿才是證據。

詢問什麼證據會改變決策。對於「正規化」，必要的發現是大小寫、標點符號、數字與填充詞都遵循書面規則。流暢的介面、高得令人印象深刻的分數，或冗長的語言清單，都無法修正「評分偏好某一種輸出格式」這項失敗。

將此範例作為微型測試：兩位審查者對重疊的產品代碼意見不一致，並將其提交仲裁。將它與「單人聽寫」放在一起閱讀：實務上的關注點是詞彙與實體的準確度，而簡單基線僅讓人員留在權限鏈中。未觀察到的可重現基準測試協定行為，在觀察到之前仍記為 N/A。

在發布或購買之前，對參考資料進行版本控管並保留仲裁備註。對於這項可重現的基準測試協定測試，請在相關階段記錄輸入、設定、來源、輸出、修正與審查者。如果自動化流程無法保留證據，請將決策範圍限縮至已測試的條件，對有爭議的案例進行盲測重跑，並在購買前使用附有人員修正紀錄的試點。

可重現基準測試協定證據備註： 在依據相關標準、功能或方法之前，請查閱 U.S. Federal Trade Commission — Keep your AI claims in check。

繼續閱讀 音訊逐字稿方法、 AI 技術評估或 AI 翻譯工作流程。

在看到勝出者之前預先註冊評分方式

正規化選擇可能改變排名，因此不得在結果出現後進行調整。

本節的作用是作為閘門，而非功能清單。閘門是「修正成本」：只有在人員修正時間以盲測方式量測，且當排名忽略作業負荷時會產生實質失敗，才算通過。這種框架讓 AI 轉錄基準測試方法與實際決策保持關聯。

逐步檢視作業案例：在未說明的政策下，一個輸出寫成「twenty one」，另一個則寫成「21」。可比較的模式是「多語言客戶通話」，它將語言切換與姓名置於一般流暢度之前，並依語言拆分結果以便升級處理。有限範圍的測試可以重複；廣泛的承諾則無法重複驗證。

透過決定凍結腳本、設定、重跑、排除項目與平手規則來關閉閘門。基準測試表儲存樣本 ID、音訊條件、真實資料版本、工具設定、原始輸出雜湊值、每一項分數、修正時間、排除項目與重跑原因。公布剩餘的排除項目，並將有爭議或具重大影響的內容透過以下備援流程處理：將決策範圍限縮至已測試的條件，對有爭議的案例進行盲測重跑，並在購買前使用附有人員修正紀錄的試點。

可重現基準測試協定證據備註： 在依據相關標準、功能或方法之前，請查閱 Google Cloud — Cloud Speech-to-Text documentation。

WER 是基線，而非業務裁決

整體編輯距離將許多無害的錯誤與具有後果的錯誤視為相同。

先看證據：使用「正規化」作為驗收項目。通過表示大小寫、標點符號、數字與填充詞都遵循書面規則；失敗界線是評分偏好某一種輸出格式。在處理第一個候選者之前，先凍結語料庫與評分規則。

將規則套用到情境中：某工具在 WER 上勝出，卻在兩通關鍵通話中更改了帳戶擁有者。這類似於「單人聽寫」案例，其中證據目標是詞彙與實體的準確度，而人員界線僅是簡單基線。對於這項可重現的基準測試協定，重點不是讓輸出看起來能力較低；而是找出同事能夠重現該主張的確切條件。

決策：加入實體、否定、歸屬、遺漏與重大錯誤分數。基準測試表儲存樣本 ID、音訊條件、真實資料版本、工具設定、原始輸出雜湊值、每一項分數、修正時間、排除項目與重跑原因。如果來源鏈中斷，結論就會縮小；如果流程失敗，請將決策範圍限縮至已測試的條件，對有爭議的案例進行盲測重跑，並在購買前使用附有人員修正紀錄的試點。

可重現基準測試協定證據註記： 在依賴相關標準、功能或方法之前，請先查看 Microsoft Learn — 語音轉文字文件。

修正時間會將準確度轉化為營運成本

即使是最佳的原始轉錄稿，如果錯誤難以找出，修正速度仍可能較慢。

將「修正時間會將準確度轉化為營運成本」視為一項營運選擇。只有在人工作業修正時間以盲測方式衡量時，這項主張才有用。如果排名忽略營運工作量，就不要把未知或矛盾轉化為有利的分數。

反例很具體：審查人員為相同的盲測修正任務計時，並記錄搜尋、重播及重新標記所需的工作量。在「多語言客戶通話」工作流程中，將語言切換和姓名列為重點，並依照審查規則保留按語言拆分的結果。對於此可重現基準測試協定審查，請保留足夠的來源脈絡，以區分辨識錯誤、語言錯誤、說話者錯誤、摘要推論、翻譯偏移或編輯改寫。

下一步是衡量修正時間的中位數，並註記失敗類型。對於此可重現基準測試協定，只儲存獲授權的證據，說明條件，並指派能夠核准、修正或拒絕結果的人員。測試表會儲存樣本 ID、音訊條件、真值版本、工具設定、原始輸出雜湊、每項分數、修正時間、排除項目及重新執行原因。

可重現基準測試協定證據註記： 在依賴相關標準、功能或方法之前，請先查看 Amazon Web Services — Amazon Transcribe 開發人員指南。

讓 HiNoter 使用相同的測試平台： 使用一個獲授權且不含敏感資訊的樣本，並且僅在已驗證的行為範圍內 評估目前的 HiNoter 工作流程。

讓 HiNoter 使用相同的測試平台

HiNoter 應接收完全相同的語料庫、允許的設定、時間範圍及評分程式碼。

請思考什麼證據會改變決策。對於「正規化」，必要的發現是大小寫、標點符號、數字及填充詞都遵循書面規則。流暢的介面、看似很高的分數或很長的語言清單，都無法修正「評分偏好某一種輸出格式」這項失敗。

將此範例作為迷你測試：記錄原始輸出、觀察到的語言行為、摘要可追溯性及修正工作量，但不提出通用的準確度主張。將其與「單人聽寫」並列閱讀：實際關注點是文字和實體的準確度，而簡單基準線只讓人員留在權限鏈中。在觀察到之前，未知的可重現基準測試協定行為仍為 N/A。

在發布或購買之前，對任何實際未測試的功能或語言發布 N/A。對於此可重現基準測試協定測試，請在相關階段記錄輸入、設定、來源、輸出、修正及審查人員。如果自動化流程無法保留證據，就將決策限縮於已測試的條件，對有爭議的案例進行盲測重新執行，並在購買前使用附有人工作業修正記錄的試行計畫。

可重現基準測試協定證據註記： 在依賴相關標準、功能或方法之前，請先查看 HiNoter — HiNoter 產品網站。

可重現的報告會顯示排名在哪裡停止適用

讀者需要先了解條件、樣本數量、日期、排除項目及不確定性，才能將結果應用到其他地方。

本節扮演的是一道關卡，而不是功能清單。這道關卡是「修正成本」：只有在人工作業修正時間以盲測方式衡量時才算通過；當排名忽略營運工作量時，若造成重大影響則判定失敗。這種框架讓 AI 轉錄基準測試方法與實際決策保持關聯。

逐步檢視營運案例：最終評分表說明，結論不涵蓋新語言、電話音訊或未來的模型版本。可比較的模式是「多語言客戶通話」，其將語言切換和姓名置於一般流暢度之前，並使用按語言拆分的結果進行升級處理。範圍受限的測試可以重複；廣泛的承諾則不行。

透過決定封存輸入、雜湊、輸出、指令碼及報告版本來關閉這道關卡。測試表會儲存樣本 ID、音訊條件、真值版本、工具設定、原始輸出雜湊、每項分數、修正時間、排除項目及重新執行原因。發布剩餘的排除項目，並將有爭議或具重大影響的內容透過以下備援流程處理：將決策限縮於已測試的條件，對有爭議的案例進行盲測重新執行，並在購買前使用附有人工作業修正記錄的試行計畫。

可重現基準測試協定證據說明： 在依賴相關標準、功能或方法前，請先查閱 NIST — Speech Recognition Scoring Toolkit。

關於可重現基準測試協定的問題

如何公平地對轉錄工具進行基準測試？

公平的轉錄基準測試會提供每個工具相同的獲授權音訊、設定機會、輸出期限和評分規則。保留一份經人工核對的真實轉錄稿；除了詞錯誤率之外，也要報告姓名、數字、術語、說話者歸屬、遺漏和修正時間；並公布語言、口音、裝置、噪音、參與者人數、時長和正規化政策。不要合併不可比較的供應商準確率聲稱，也不要將以不同檔案測試的工具排名。基準測試應回答哪個工具適合你的會議條件，而不是哪個工具普遍勝出。結論僅適用於實際測試過的語言、語言變體、音訊條件、說話者、設定、輸出階段和審查規則。

針對 AI 轉錄基準測試方法，我應先核實什麼？

先確立這項界線：固定一個具代表性的測試語料庫，並在處理任何候選工具前，預先註冊評分、正規化、排除項目、設定、重新執行和平手決勝規則。在查看經過潤飾的輸出前，保留來源，並先定義具重要影響的詞語或主張。

流暢的轉錄稿、摘要或翻譯是否準確？

不一定。流暢度衡量可讀性，而忠實度則要確認姓名、數字、否定、說話者、條件、決定、術語和語氣是否與來源相符。直接檢查這些項目。

應如何測試多語言樣本？

使用母語人士、標記地區的真實轉錄稿、具代表性的裝置和房間，並分別報告每種語言或地區語言變體的結果。標記每個切換點，絕不要將 pt-BR 和 pt-PT 合併成一個未加說明的分數。

何時需要人工審查？

對於具有重大影響的決策、引述、承諾、法律或人事紀錄、不熟悉的姓名和術語、有爭議的段落、低品質音訊，以及任何無法追溯至來源的輸出，都應要求具備資格的人員進行審查。

應如何評估 HiNoter？

執行此案例的獲授權、非敏感版本：採購團隊將一家供應商的乾淨英文示範與另一家供應商的嘈雜多語言通話進行比較，並發布誤導性的排行榜。核實目前的輸入、語言、轉錄稿、摘要或翻譯、來源導覽、編輯、匯出、存取和刪除行為；任何未測試的項目都留為 N/A。

決策界線

對於「如何公平地對轉錄工具進行基準測試？」這個問題，可辯護的答案仍然是有條件的。公平的轉錄基準測試會提供每個工具相同的獲授權音訊、設定機會、輸出期限和評分規則。保留一份經人工核對的真實轉錄稿；除了詞錯誤率之外，也要報告姓名、數字、術語、說話者歸屬、遺漏和修正時間；並公布語言、口音、裝置、噪音、參與者人數、時長和正規化政策。不要合併不可比較的供應商準確率聲稱，也不要將以不同檔案測試的工具排名。基準測試應回答哪個工具適合你的會議條件，而不是哪個工具普遍勝出。可辯護的勝出者，是在已公布的決策界線內表現最佳的工具，而不是附帶最大、未加說明數字的工具。如果證據不足以支持關於 AI 轉錄基準測試方法的陳述，請發布「未驗證」或 N/A，而不是有利的估計。

執行可重現的轉錄基準測試： 執行一個具代表性的樣本，將輸出與其來源進行比較，並 僅在你核實過的確切語言和工作流程階段內測試 HiNoter。