למה כדאי לבדוק תשובה של AI?
תשובה של AI נשמעת בטוחה גם כשהיא שגויה. אותו ניסוח רהוט ומסודר מופיע גם כשהמודל צודק וגם כשהוא המציא פרט מאפס.
לטעויות האלה קוראים "הזיות". מודל שפה בונה תשובה לפי מה שנשמע סביר, והוא לא תמיד מזהה שחסר לו מידע. אז הוא ממלא את החור בפרט שנראה אמין: תאריך, סכום, ציטוט, שם של מחקר או סעיף בחוק שלא קיים.
הסכנה גדולה דווקא בתשובות הטובות. כשרוב התשובה נכונה ומנומקת, קל לסמוך גם על הפרט האחד שהומצא ולהעתיק אותו למייל ללקוח, לעבודה סמינריונית או להחלטה על כסף. בפעם הבאה אפשר לשלוח את השאלה מראש לשלושת המנועים יחד ולראות איפה הם חלוקים.
איך הבדיקה עובדת?
מדביקים את התשובה שקיבלתם, מכל מקום: ChatGPT, Gemini, Claude או כלי אחר, ומסמנים מאיפה היא הגיעה. אם שמרתם את השאלה המקורית, הדביקו גם אותה. בלי השאלה, הבודקים רואים רק את התשובה ולא יכולים לדעת אם היא בכלל עונה על מה שנשאל.
אחרי לחיצה על "בדוק את התשובה", שני מנועים אחרים קוראים את התשובה, כל אחד בנפרד ובלי לראות את חוות הדעת של השני. אם התשובה הגיעה מ-ChatGPT, למשל, הבודקים הם Gemini ו-Claude, וגם המודל שכותב בסוף את המסקנה אינו של OpenAI.
בשלב האחרון צ׳אט 3 מאחד את שתי חוות הדעת לתוצאה אחת. בראשה מופיע אחד משלושה סטטוסים: "נראה תקין", "דורש הסתייגות" או "נמצאו בעיות". מתחתיו מפורטות הנקודות שנראות נכונות לבודקים, הנקודות שדורשות בדיקה, הנקודות שעלולות להיות שגויות, ובסוף המסקנה של צ׳אט 3. כדאי לקרוא קודם את הטענות שסומנו כבעייתיות: שם מחכה רוב העבודה שלכם.
מה הבדיקה לא עושה
זו חוות דעת שנייה של מודלים אחרים, לא בדיקת עובדות מול מקורות. הבודקים לא גולשים באינטרנט ולא פותחים קישורים, ולכן לא יכולים לאמת אירוע מאתמול או מחיר של היום.
גם הבודקים טועים לפעמים. מודלים שונים יכולים ליפול באותה טעות, למשל כשמידע שגוי חוזר על עצמו ברשת. לכן גם כששניהם מסכימים, התשובה עדיין יכולה להיות שגויה. הסטטוס "נראה תקין" אומר רק שהם לא מצאו בעיה.
בנושאי בריאות, משפט וכסף, השתמשו בבדיקה כדי לדעת מה לשאול. את ההחלטה עצמה קבלו עם איש מקצוע מוסמך: רופא, עורך דין או יועץ פיננסי.
איך לבדוק בעצמכם
הבדיקה חוסכת עבודה, אבל פרט שתלויה בו החלטה כדאי לאמת בעצמכם. הטעויות נוטות להסתתר בכמה מקומות קבועים:
- תאריכים ומספרים. סכומים, אחוזים, שנים וכמויות. בדקו כל מספר שאתם מתכוונים להשתמש בו מול מקור רשמי או עדכני.
- שמות וציטוטים. חפשו את הציטוט המדויק במנוע חיפוש, בתוך מירכאות. אם הוא לא מופיע בשום מקום, סביר שאף אחד לא אמר אותו.
- חוקים וזכויות. חוקים מתעדכנים, ומודלים מערבבים לפעמים בין מדינות. קראו את נוסח החוק עצמו או את עמוד המידע של המשרד הממשלתי באתר gov.il.
- מקורות. בקשו מהמודל מאיפה המידע, ואז פתחו כל קישור. קישור שלא נפתח, או עמוד שלא אומר את מה שהתשובה טוענת, הוא סימן אזהרה.
- שאלה חוזרת. פתחו שיחה חדשה בצ׳אט AI ושאלו את אותה שאלה בניסוח אחר. אם הפרט משתנה מתשובה לתשובה, אל תסמכו עליו.
- אתרים רשמיים. לשעות פתיחה, לתעריפים ולתנאי זכאות, האתר של הגוף עצמו עדיף על כל סיכום.