פרוטוקול בסגנון מעבדתי לשוויון קורפוס, אמת מידה אנושית, WER, ישויות, תוויות דוברים ומאמץ תיקון.

נכתב על ידי HiNoter Reproducibility Bench · נבדק עבור סקירת תכנון ניסויים ומדדי תמלול · סטטוס בדיקה וראיות: המתודולוגיה פורסמה; התנהגות המוצר דורשת אימות בזמן אמת · פורסם ועודכן 2026-09-02

השוואת תמלול הוגנת מעניקה לכל כלי את אותו אודיו מורשה, אותה הזדמנות לקביעת תצורה, אותו מועד להגשת פלט ואותם כללי ניקוד. יש לשמור תמליל אמת שנבדק בידי אדם; לדווח על שיעור שגיאות מילים לצד שמות, מספרים, מונחים, שיוך דוברים, השמטות וזמן תיקון; ולפרסם את השפה, המבטא, המכשיר, הרעש, מספר המשתתפים, משך ההקלטה ומדיניות הנרמול. אין לשלב טענות דיוק של ספקים שאינן ניתנות להשוואה או לדרג כלים שנבדקו על קבצים שונים. ההשוואה צריכה לענות על השאלה איזה כלי עובד בתנאי הפגישה שלכם, לא איזה כלי מנצח באופן אוניברסלי. עבור ‘שיטת השוואת תמלול מבוססת AI’, השתמשו בכלל ההפעלה הבא: הקפיאו קורפוס בדיקה מייצג אחד ורשמו מראש את כללי הניקוד, הנרמול, ההחרגות, התצורה, ההרצה החוזרת ושבירת השוויון לפני עיבוד מועמד כלשהו.

השוואה הופכת להוגנת כאשר השיטה נקבעת לפני שמישהו יודע איזה כלי יפיק ממנה תועלת. שקלו את התרחיש הבא, שנוצר בידי העורך ואינו מתייחס ללקוח: צוות רכש משווה הדגמה נקייה באנגלית של ספק אחד לשיחה רועשת ורב־לשונית של ספק אחר ומפרסם טבלת דירוג מטעה. מטרתו היא להפוך את השאלה ‘מהי דרך הוגנת להשוואת כלי תמלול?’ לניתנת לבדיקה, בלי לחשוף משתתף, עובד, מטופל, לקוח או פגישה חסויה.

פרוטוקול השוואה בר־שחזור זה נכתב עבור קונים, חוקרים, עורכים וצוותי תפעול המשווים כלי תמלול מבלי לאפשר לאודיו, להגדרות או לכללי ניקוד שונים לקבוע את המנצח. הוא מפריד בין תיעוד של הצד הראשון, התנהגות שנצפתה בבדיקה, ראיות מקור שנבדקו בידי אדם ושיקול דעת מערכתי. תיעוד לעולם אינו מחליף בדיקה בחשבון חי, ועובדה שאינה זמינה נשארת N/A.

הסיכון המרכזי מוגדר היטב: כאשר כל כלי מקבל אודיו שונה או סיוע עריכה שונה, הדירוג מודד את תכנון הבדיקה ולא את איכות התמלול. לכן השיטה פועלת לפי התקן הבא: הקפיאו קורפוס בדיקה מייצג אחד ורשמו מראש את כללי הניקוד, הנרמול, ההחרגות, התצורה, ההרצה החוזרת ושבירת השוויון לפני עיבוד מועמד כלשהו. התוצאה חלה רק על השפות, הדוברים, נתיב האודיו, ההגדרות, התאריך וסף הבדיקה שפורסמו.

שיטת השוואת תמלול הוגנת מבוססת AI מתחילה בהחלטה

הקורפוס חייב לייצג את האודיו ואת ההשלכות שהקונה מתמודד איתם בפועל.

הראיות תחילה: השתמשו ב‘נרמול’ כפריט הקבלה. מעבר פירושו שאותיות רישיות, סימני פיסוק, ספרות ומילות מילוי עומדים בכללים הכתובים; גבול הכישלון הוא מצב שבו הניקוד מעדיף פורמט פלט אחד. הקפיאו את הקורפוס ואת כללי הניקוד לפני עיבוד המועמד הראשון.

החילו את הכלל על התרחיש: מערכת חדשות וצוות מכירות בוחרים מילים קריטיות שונות, גם כאשר שניהם משתמשים ב-WER. הדבר דומה למקרה ‘הכתבה של אדם אחד’, שבו יעד הראיות הוא דיוק המילים והישויות והגבול האנושי הוא קו בסיס פשוט בלבד. עבור פרוטוקול השוואה בר־שחזור זה, המטרה אינה לגרום לפלט להיראות פחות מסוגל; היא לזהות את התנאי המדויק שבו עמית יכול לשחזר את הטענה.

החלטה: כתבו את מקרי השימוש ואת עלויות הכשל לפני בחירת הקטעים. גיליון הבדיקה שומר מזהה דגימה, תנאי אודיו, גרסת אמת, הגדרות כלי, גיבוב של הפלט הגולמי, כל ציון, זמן תיקון, החרגות וסיבת הרצה חוזרת. אם שרשרת המקור מסתיימת, יש לצמצם את המסקנה; אם הנתיב נכשל, יש לצמצם את ההחלטה לתנאים שנבדקו, להריץ מחדש מקרים שנויים במחלוקת באופן סמוי, ולהשתמש בפיילוט עם יומני תיקון אנושיים לפני הרכישה.

הערת ראיות של פרוטוקול השוואה בר־שחזור: עיינו ב־NIST — Speech Recognition Scoring Toolkit לפני שתסתמכו על התקן, התכונה או השיטה הקשורים.

הריצו השוואת תמלול ברת־שחזור

דווחו על כרטיס ניקוד

פרסמו WER, תוצאות ישויות ודוברים, שגיאות מהותיות, זמן תיקון, כיסוי, כשלים, רווחי סמך כאשר הדבר מוצדק ומגבלות. סיימו באישור, צמצום, בדיקה חוזרת או דחייה; אם הנתיב הראשי נכשל, צמצמו את ההחלטה לתנאים שנבדקו, הריצו מחדש מקרים שנויים במחלוקת באופן סמוי, והשתמשו בפיילוט עם יומני תיקון אנושיים לפני הרכישה.

הריצו את המועמדים באופן עקבי

עבדו על אותם קבצים תחת הגדרות מתועדות ושמרו את הפלטים הגולמיים ללא ניקוי שקט. תעדו ראיות חסרות כ־N/A והבחינו בין התנהגות שנצפתה לבין תיעוד ושיקול דעת מערכתי.

הקפיאו את הפרוטוקול

קבעו נרמול, סימני פיסוק, תצורה, ניסיונות חוזרים, מגבלות זמן, סקריפטי ניקוד וכללי החרגה לפני צפייה בתוצאות. השוו לציפייה כתובה או לאמת שנבדקה בידי אדם, ולא לשטף, לליטוש חזותי או לציון בלתי מוסבר.

צרו אמת אנושית

הכשירו בודקים לתמלל, לתייג דוברים, לסמן ישויות, ליישב מחלוקות ולשמור אסמכתה מנוהלת בגרסאות. השתמשו בחומר מורשה ולא רגיש ושמרו את המקור הדרוש לשחזור התצפית.

הרכיבו את הקורפוס

השתמשו בקטעים מייצגים ומורשים המשתרעים על פני מכשירים, חדרים, דוברים, מבטאים, רעש, חפיפה ואוצר מילים קריטי. תעדו שפה, אזור, דוברים, מכשיר, חדר, רעש, משך, תצורה, תאריך, גרסת מודל או מוצר ובודק כאשר הם משפיעים על המסקנה.

הגדירו את ההחלטה

כתבו את סוגי הפגישות, השפות, עלויות הכשל, תקציב הבדיקה והחלטת המוצר שההשוואה צריכה לתמוך בהם. תחמו את הבדיקה באמצעות המקרה הסינתטי הבא: צוות רכש משווה הדגמה נקייה באנגלית של ספק אחד לשיחה רועשת ורב־לשונית של ספק אחר ומפרסם טבלת דירוג מטעה.

הקורפוס הוא מכשיר, לא רשימת השמעה

הכיסוי צריך להיות מכוון על פני שפה, מכשיר, רעש, חפיפה, מרחק ומספר משתתפים.

התייחסו ל‘הקורפוס הוא מכשיר, לא רשימת השמעה’ כאל בחירת הפעלה. הטענה שימושית רק כאשר זמן התיקון האנושי נמדד באופן סמוי. אם הדירוג מתעלם מעומס העבודה התפעולי, הפסיקו להמיר דבר לא ידוע או סתירה לציון חיובי.

הדוגמה הנגדית קונקרטית: עשרה קטעים קלים אינם יכולים לייצג את הקלטת הסדנה שמניעה את הרכישה. בתהליך עבודה של ‘שיחת לקוח רב־לשונית’, התמקדו במעבר בין שפות ובשמות ושמרו תוצאות מפוצלות לפי שפה ככלל הבדיקה. עבור סקירת פרוטוקול השוואה בר־שחזור זה, שמרו מספיק הקשר מקור כדי להבחין בין שגיאת זיהוי, שגיאת שפה, שגיאת דובר, הסקת סיכום, סטייה בתרגום או עריכה מערכתית.

הפעולה הבאה היא לבנות מטריצת תנאים ולמלא כל תא נדרש. עבור פרוטוקול השוואה בר־שחזור זה, שמרו רק ראיות מורשות, ציינו את התנאים והקצו את האדם שיכול לאשר, לתקן או לדחות את התוצאה. גיליון הבדיקה שומר מזהה דגימה, תנאי אודיו, גרסת אמת, הגדרות כלי, גיבוב של הפלט הגולמי, כל ציון, זמן תיקון, החרגות וסיבת הרצה חוזרת.

הערת ראיות של פרוטוקול השוואה בר־שחזור: עיינו ב־NIST — AI Risk Management Framework לפני שתסתמכו על התקן, התכונה או השיטה הקשורים.

לאמת האנושית נדרשת בקרת איכות משלה

תמלול ייחוס הוא ראיה רק כאשר המתודולוגיות ואי־ההסכמות מתועדות.

שאלו איזו ראיה תשנה את ההחלטה. עבור „נרמול“, הממצא הנדרש הוא שהרישיות, סימני הפיסוק, הספרות ומילות המילוי תואמים לכללים כתובים. ממשק חלק, ציון שנראה גבוה או רשימת שפות ארוכה אינם יכולים לתקן את הכשל „הניקוד מעדיף פורמט פלט אחד“.

השתמשו בדוגמה כמבחן זעיר: שני סוקרים חלוקים לגבי קוד מוצר חופף ושולחים אותו להכרעה. קראו אותה לצד „הכתבה של אדם אחד“: החשש המעשי הוא דיוק במילים ובישויות, בעוד שקו בסיס פשוט רק משאיר אדם בשרשרת הסמכות. התנהגות לא ידועה של פרוטוקול אמת מידה שניתן לשחזר נשארת N/A עד שנצפתה.

לפני פרסום או רכישה, נהלו גרסאות של חומר הייחוס ושמרו את הערות ההכרעה. עבור בדיקת פרוטוקול אמת מידה זו שניתנת לשחזור, תעדו את הקלט, ההגדרות, המקור, הפלט, התיקון והסוקר בשלב שבו הם חשובים. אם הנתיב האוטומטי אינו יכול לשמר ראיות, צמצמו את ההחלטה לתנאים שנבדקו, הריצו מחדש מקרים שבמחלוקת באופן סמוי, והשתמשו בפיילוט עם יומני תיקונים אנושיים לפני הרכישה.

הערת ראיות של פרוטוקול אמת מידה שניתן לשחזור: עיינו ב־U.S. Federal Trade Commission — Keep your AI claims in check לפני הסתמכות על התקן, התכונה או השיטה הקשורים.

המשיכו אל שיטות לתמלול אודיו, הערכות של טכנולוגיית AI, או תהליכי עבודה לתרגום AI.

רשמו מראש את שיטת הניקוד לפני שתראו את המנצחים

בחירות הנרמול יכולות לשנות את הדירוגים, ואסור לכוונן אותן לאחר שהתוצאות מופיעות.

סעיף זה פועל כשער ולא כרשימת תכונות. השער הוא „עלות התיקון“: עוברים רק אם זמן התיקון האנושי נמדד באופן סמוי, ונכשלים באופן מהותי כאשר הדירוג מתעלם מעומס העבודה התפעולי. מסגור זה משאיר את שיטת אמת המידה לתמלול AI קשורה להחלטה אמיתית.

עברו על המקרה התפעולי: פלט אחד כותב 'twenty one' בעוד שאחר כותב '21' בהתאם למדיניות שלא הוצהרה. הדפוס בר־ההשוואה הוא „שיחת לקוח רב־לשונית“, שמציב החלפת שפה ושמות לפני שוטפות כללית ומשתמש בתוצאות מפוצלות לפי שפה להסלמה. ניתן לחזור על מבחן מוגבל; הבטחה רחבה אינה ניתנת לשחזור.

סגרו את השער באמצעות החלטה להקפיא את הסקריפטים, ההגדרות, ההרצות החוזרות, ההחרגות וכללי השוויון. גיליון האמת מְאחסן מזהה דגימה, תנאי אודיו, גרסת אמת, הגדרות הכלי, גיבוב הפלט הגולמי, כל ציון, זמן תיקון, החרגות והסיבה להרצה חוזרת. פרסמו את ההחרגות שנותרו והעבירו תוכן שבמחלוקת או בעל השלכות דרך החלופה הזו: צמצמו את ההחלטה לתנאים שנבדקו, הריצו מחדש מקרים שבמחלוקת באופן סמוי, והשתמשו בפיילוט עם יומני תיקונים אנושיים לפני הרכישה.

הערת ראיות של פרוטוקול אמת מידה שניתן לשחזור: עיינו בתיעוד Google Cloud — Cloud Speech-to-Text לפני הסתמכות על התקן, התכונה או השיטה הקשורים.

WER הוא קו הבסיס, לא פסק הדין העסקי

מרחק עריכה מצרפי מתייחס לשגיאות רבות, חסרות חשיבות ומהותיות, באופן זהה.

הראיות קודמות לכול: השתמשו ב„נרמול“ כפריט הקבלה. מעבר פירושו שהרישיות, סימני הפיסוק, הספרות ומילות המילוי תואמים לכללים כתובים; גבול הכשל הוא שהניקוד מעדיף פורמט פלט אחד. הקפיאו את הקורפוס ואת כללי הניקוד לפני עיבוד המועמד הראשון.

החילו את הכלל על הסצנה: כלי מנצח ב־WER אך משנה את בעל החשבון בשתי שיחות קריטיות. הדבר דומה למקרה „הכתבה של אדם אחד“, שבו יעד הראיות הוא דיוק במילים ובישויות והגבול האנושי הוא קו בסיס פשוט בלבד. עבור פרוטוקול אמת מידה זה שניתן לשחזור, המטרה אינה לגרום לפלט להיראות פחות מסוגל; אלא לזהות את התנאי המדויק שבו עמית יכול לשחזר את הטענה.

החלטה: הוסיפו ציונים לישויות, לשלילה, לייחוס, להשמטה ולשגיאה מהותית. גיליון האמת מְאחסן מזהה דגימה, תנאי אודיו, גרסת אמת, הגדרות הכלי, גיבוב הפלט הגולמי, כל ציון, זמן תיקון, החרגות והסיבה להרצה חוזרת. אם שרשרת המקור מסתיימת, המסקנה מצטמצמת; אם הנתיב נכשל, צמצמו את ההחלטה לתנאים שנבדקו, הריצו מחדש מקרים שבמחלוקת באופן סמוי, והשתמשו בפיילוט עם יומני תיקונים אנושיים לפני הרכישה.

הערת ראיות לפרוטוקול מדד הניתן לשחזור: יש לעיין בתיעוד Microsoft Learn — Speech to text לפני שמסתמכים על התקן, התכונה או השיטה הקשורים.

זמן התיקון הופך את הדיוק לעלות תפעולית

ייתכן שהתמלול הגולמי הטוב ביותר עדיין יהיה איטי יותר לתיקון אם קשה למצוא את השגיאות.

יש להתייחס ל„זמן התיקון הופך את הדיוק לעלות תפעולית” כאל בחירה תפעולית. הטענה שימושית רק כאשר זמן התיקון האנושי נמדד באופן עיוור. אם הדירוג מתעלם מעומס העבודה התפעולי, יש להפסיק להמיר דבר לא ידוע או סתירה לציון חיובי.

הדוגמה הנגדית קונקרטית: הסוקרים מודדים את הזמן של אותה משימת תיקון עיוורת ומתעדים את המאמץ הנדרש לחיפוש, להשמעה חוזרת ולתיוג מחדש. בתהליך עבודה של „שיחת לקוח רב־לשונית”, יש להתמקד במעבר בין שפות ובשמות ולשמור תוצאות מפוצלות לפי שפה ככלל הסקירה. עבור סקירת פרוטוקול מדד זה הניתן לשחזור, יש לשמר מספיק הקשר מקור כדי להבחין בין שגיאת זיהוי, שגיאת שפה, שגיאת דובר, הסקת סיכום, סטייה בתרגום או שכתוב עריכתי.

הפעולה הבאה היא למדוד את זמן התיקון החציוני ולתייג את סוג הכשל. עבור פרוטוקול מדד זה הניתן לשחזור, יש לשמור רק ראיות מורשות, לציין את התנאים ולהקצות את האדם שיכול לאשר, לתקן או לדחות את התוצאה. גיליון המדד שומר מזהה דגימה, תנאי שמע, גרסת אמת, הגדרות כלי, גיבוב הפלט הגולמי, כל ציון, זמן תיקון, החרגות וסיבת הרצה חוזרת.

הערת ראיות לפרוטוקול מדד הניתן לשחזור: יש לעיין ב־ Amazon Web Services — Amazon Transcribe Developer Guide לפני שמסתמכים על התקן, התכונה או השיטה הקשורים.

העמידו את HiNoter על אותו ספסל בדיקה: השתמשו בדגימה מורשית אחת שאינה רגישה ו־ העריכו את תהליך העבודה הנוכחי של HiNoter רק במסגרת ההתנהגות המאומתת.

העמידו את HiNoter על אותו ספסל בדיקה

על HiNoter לקבל את אותו קורפוס, אותה תצורה מותרת, אותו חלון זמן ואותו קוד ניקוד.

שאלו איזו ראיה תשנה את ההחלטה. עבור „נרמול”, הממצא הנדרש הוא שהרישיות, סימני הפיסוק, הספרות ומילות המילוי פועלים לפי כללים כתובים. ממשק חלק, ציון שנראה גבוה או רשימת שפות ארוכה אינם יכולים לתקן את הכשל „הניקוד מעדיף פורמט פלט אחד”.

השתמשו בדוגמה כמבחן זעיר: הפלט הגולמי, התנהגות השפה שנצפתה, יכולת המעקב אחר הסיכום ומאמץ התיקון מתועדים ללא טענה אוניברסלית לגבי דיוק. קראו אותו לצד „הכתבה של אדם אחד”: החשש המעשי הוא דיוק המילים והישויות, בעוד שקו בסיס פשוט רק משאיר אדם בשרשרת הסמכות. התנהגות לא ידועה של פרוטוקול מדד הניתן לשחזור נותרת N/A עד שנצפה בה.

לפני פרסום או רכישה, יש לפרסם N/A עבור כל תכונה או שפה שלא נבדקו בפועל. עבור בדיקת פרוטוקול מדד זה הניתן לשחזור, יש לתעד קלט, הגדרות, מקור, פלט, תיקון וסוקר בשלב שבו הם חשובים. אם הנתיב האוטומטי אינו יכול לשמר ראיות, יש לצמצם את ההחלטה לתנאים שנבדקו, להריץ מחדש מקרים שבמחלוקת באופן עיוור ולהשתמש בפיילוט עם יומני תיקון אנושיים לפני הרכישה.

הערת ראיות לפרוטוקול מדד הניתן לשחזור: יש לעיין ב־ HiNoter — אתר המוצר של HiNoter לפני שמסתמכים על התקן, התכונה או השיטה הקשורים.

דוח הניתן לשחזור מראה היכן הדירוג נעצר

הקוראים זקוקים לתנאים, למספרי דגימות, לתאריכים, להחרגות ולאי־ודאות לפני שהם מיישמים את התוצאות במקום אחר.

סעיף זה פועל כשער ולא כרשימת תכונות. השער הוא „עלות התיקון”: עוברים רק אם זמן התיקון האנושי נמדד באופן עיוור, ונכשלים באופן מהותי כאשר הדירוג מתעלם מעומס העבודה התפעולי. מסגור זה משאיר את שיטת מדד תמלול מבוסס הבינה המלאכותית קשורה להחלטה אמיתית.

עברו על המקרה התפעולי: כרטיס התוצאות הסופי מציין שהמסקנות אינן מכסות שפות חדשות, שמע טלפוני או גרסאות מודל עתידיות. התבנית המקבילה היא „שיחת לקוח רב־לשונית”, שמציבה את המעבר בין שפות ואת השמות לפני השטף הכללי ומשתמשת בתוצאות מפוצלות לפי שפה להסלמה. ניתן לחזור על בדיקה מוגבלת; הבטחה רחבה אינה ניתנת לחזרה.

סגרו את השער בהחלטה לארכב קלטים, גיבובים, פלטים, סקריפטים וגרסת דוח. גיליון המדד שומר מזהה דגימה, תנאי שמע, גרסת אמת, הגדרות כלי, גיבוב הפלט הגולמי, כל ציון, זמן תיקון, החרגות וסיבת הרצה חוזרת. פרסמו את ההחרגות שנותרו והעבירו תוכן שבמחלוקת או בעל השלכות דרך החלופה הזו: צמצמו את ההחלטה לתנאים שנבדקו, הריצו מחדש מקרים שבמחלוקת באופן עיוור והשתמשו בפיילוט עם יומני תיקון אנושיים לפני הרכישה.

הערת ראיות לפרוטוקול אמת מידה בר-שחזור: עיינו ב־NIST — ערכת כלים לניקוד זיהוי דיבור לפני שתסתמכו על התקן, התכונה או השיטה הקשורים.

שאלות לגבי פרוטוקול אמת מידה בר-שחזור

מהי דרך הוגנת לבצע אמת מידה לכלי תמלול?

אמת מידה הוגנת לתמלול מעניקה לכל כלי את אותו אודיו מורשה, אותה הזדמנות להגדיר תצורה, אותו מועד אחרון להפקת פלט ואותם כללי ניקוד. שמרו תמליל אמת שנבדק בידי אדם; דווחו על שיעור שגיאות המילים לצד שמות, מספרים, מינוח, שיוך לדוברים, השמטות וזמן תיקון; ופרסמו את השפה, המבטא, המכשיר, הרעש, מספר המשתתפים, משך ההקלטה ומדיניות הנרמול. אל תשלבו טענות דיוק של ספקים שאינן ניתנות להשוואה ואל תדרגו כלים שנבדקו על קבצים שונים. אמת המידה צריכה לענות על השאלה איזה כלי עובד בתנאי הפגישה שלכם, ולא איזה כלי מנצח באופן אוניברסלי. החילו את המסקנה רק על השפות, המגוון הלשוני, תנאי האודיו, הדוברים, התצורה, שלבי הפלט וכללי הבדיקה שנבדקו בפועל.

מה עליי לאמת תחילה עבור שיטת אמת מידה לתמלול באמצעות בינה מלאכותית?

התחילו בגבול הזה: הקפיאו מאגר בדיקה מייצג אחד ורשמו מראש את כללי הניקוד, הנרמול, ההחרגות, התצורה, ההרצה החוזרת ושבירת השוויון לפני עיבוד מועמד כלשהו. שמרו את המקור והגדירו את המילים או הטענות המשמעותיות לפני שתביטו בפלט מלוטש.

האם תמליל, סיכום או תרגום שוטף הוא מדויק?

לא בהכרח. שוטפות מודדת קריאוּת, בעוד שנאמנות בודקת אם השמות, המספרים, השלילה, הדוברים, התנאים, ההחלטות, המינוח והטון תואמים למקור. בדקו את הפריטים האלה ישירות.

כיצד יש לבדוק דגימות רב-לשוניות?

השתמשו בדוברים ילידיים, בתמלילי אמת המתויגים לפי אזור, במכשירים ובחדרים מייצגים, ובתוצאות נפרדות עבור כל שפה או מגוון אזורי. סמנו כל נקודת מעבר בין שפות ולעולם אל תמזגו את pt-BR ואת pt-PT לציון אחד ללא הסבר.

מתי נדרשת בדיקה אנושית?

דרשו בדיקה מוסמכת עבור החלטות בעלות השלכות, ציטוטים, התחייבויות, רשומות משפטיות או של כוח אדם, שמות ומינוח שאינם מוכרים, קטעים שבמחלוקת, אודיו באיכות נמוכה וכל פלט שלא ניתן להתחקות ממנו אל מקור.

כיצד יש להעריך את HiNoter?

הריצו גרסה מורשית ולא רגישה של מקרה זה: צוות רכש משווה הדגמה נקייה באנגלית של ספק אחד לשיחה רב-לשונית רועשת של ספק אחר ומפרסם טבלת דירוג מטעה. אמתו את הקלט הנוכחי, השפה, התמליל, הסיכום או התרגום, ניווט המקור, העריכות, הייצוא, הגישה והתנהגות המחיקה; השאירו כל דבר שלא נבדק כ־N/A.

גבול ההחלטה

לשאלה ‘מהי דרך הוגנת לבצע אמת מידה לכלי תמלול?’ התשובה הניתנת להגנה נותרת מותנית. אמת מידה הוגנת לתמלול מעניקה לכל כלי את אותו אודיו מורשה, אותה הזדמנות להגדיר תצורה, אותו מועד אחרון להפקת פלט ואותם כללי ניקוד. שמרו תמליל אמת שנבדק בידי אדם; דווחו על שיעור שגיאות המילים לצד שמות, מספרים, מינוח, שיוך לדוברים, השמטות וזמן תיקון; ופרסמו את השפה, המבטא, המכשיר, הרעש, מספר המשתתפים, משך ההקלטה ומדיניות הנרמול. אל תשלבו טענות דיוק של ספקים שאינן ניתנות להשוואה ואל תדרגו כלים שנבדקו על קבצים שונים. אמת המידה צריכה לענות על השאלה איזה כלי עובד בתנאי הפגישה שלכם, ולא איזה כלי מנצח באופן אוניברסלי. המנצח שניתן להגן עליו הוא הכלי שמציג את הביצועים הטובים ביותר בתוך גבול ההחלטה שפורסם — לא זה שמוצמד למספר הגדול ביותר ללא הסבר. אם הראיות אינן יכולות לתמוך באמירה לגבי שיטת אמת מידה לתמלול באמצעות בינה מלאכותית, פרסמו לא אומת או N/A במקום הערכה חיובית.

הריצו אמת מידה ניתנת לשחזור לתמלול: הריצו דגימה מייצגת אחת, השוו את הפלט למקור שלו, ו־בדקו את HiNoter רק בתוך השפות המדויקות ושלבי תהליך העבודה שאימתם.