כיצד לאמת ציטוטים שנוצרו על ידי בינה מלאכותית

עליך לאמת כל ציטוט שנוצר על ידי בינה מלאכותית על ידי אישור עצמאי שהמקור קיים ושבתוכו אכן תומך בטענה הספציפית שאליה הוא מחובר. אל תסמוך על פלט המודל; התייחס לכל הפניה כהשערה הדורשת בדיקה פורנזית מול רשומות ביבליוגרפיות חיצוניות והטקסט המקורי.

מצבי הכשל הספציפיים של יצירת ציטוטים על ידי בינה מלאכותית

מודלים שפה גדולים לעיתים קרובות מייצרים ציטוטים שנראים סבירים אך שבורים מבנית. שגיאות אלו מתחלקות בדרך כלל לשלוש קטגוריות:

• כותרות מדומות. המודל ממציא כותרת שנשמעת מתאימה אקדמית אך אינה קיימת. הכותרת עשויה לשלב מושגים אמיתיים מתחומים שונים, וליצור ביטוי שנראה לוגי אך אין לו היסטוריית פרסום.
• מחברים לא תואמים. הכותרת או הנושא אמיתיים, אך רשימת המחברים שגויה. המודל עשוי לשייך מאמר לחוקר מפורסם בתחום שלא כתב אותו, או להחליף בין שם פרטי לשם משפחה. הוא עשוי גם להמציא מחברים משותפים כדי שהציטוט ייראה איתן יותר.
• שנים ומטא-דאטה שגויים. שנת הפרסום, מספר הכרך, טווח העמודים או ה-DOI עשויים להיות מזויפים. שגיאה נפוצה היא הקצאת שנה עדכנית לעבודה מכוננת ישנה יותר, או צירוף DOI שמפנה למאמר שונה לחלוטין.

שגיאות אלו מסוכנות מכיוון שהן לרוב עדינות. הקורא עשוי להציץ בציטוט, לזהות את הנושא ולהניח שההפניה תקפה מבלי לבדוק את הפרטים.

תהליך עבודה לאימות שלב אחר שלב

כדי לבדוק ציטוט באופן שיטתי, פעל לפי הסדר הבא. עליך לאמת תחילה את הקיום, ולאחר מכן את התמיכה.

1. בודד את המטא-דאטה. העתק את פרטי הציטוט המלאים (מחברים, כותרת, שנה, מקור, DOI אם קיים) מהטיוטה שלך.

2. אמת את הקיום באמצעות DOI או מאגר רישום. אם מסופק DOI, השתמש ב-Crossref כדי לשאול את מאגר ה-DOI. אשר שה-DOI מפנה לרשומה אמיתית ושהמטא-דאטה תואם בדיוק לציטוט שלך. אם לא סופק DOI, או אם אתה בודק ספר או פרק, השתמש ב-OpenAlex כדי לשאול את שילוב הכותרת והמחבר. בדוק אם קיימת רשומה תואמת במאגר המדעי הפתוח.

3. בצע בדיקה צולבת עם מסד נתונים משני. השתמש ב-Google Scholar כדי לחפש את הכותרת. חפש מספר מופעים של הציטוט. אם המאמר קיים, תראה אותו מצוטט על ידי חוקרים אחרים. בדוק את התקציר כדי לוודא שהנושא תואם. עבור ציטוטים בתחום הביו-רפואי, השתמש ב-PubMed כדי לאמת שהמאמר קיים במסד הנתונים למדעי החיים ולסקור את התקציר. לכיסוי רחב יותר, במיוחד אם יש לך גישה למנויים מוסדיים, השתמש ב-Scopus כדי לאשר את קיום המאמר וההקשר שלו.

4. אמת תמיכה בטענה. זהו השלב הקריטי ביותר. גש לטקסט המלא או לתקציר של המקור המאומת. קרא את הסעיף הספציפי שבו הטענה אמורה להופיע. שאל: האם מקור זה אכן מעלה טיעון זה? האם הוא מספק את הנתונים או התיאוריה שהטיוטה שלך מרמזת עליהם? אם המקור מזכיר את הנושא רק אגב או טוען את ההפך, הציטוט אינו תקף למטרתך.

5. רשום את ההפניה המאומתת. לאחר האישור, שמור את הרשומה ב-Zotero או ב-Mendeley. כלים אלו מאפשרים לך לאחסן את המטא-דאטה המאומתת. על ידי השוואת הציטוט שנוצר על ידי ה-AI מול הרשומות השמורות והמאומתות שלך, אתה יוצר ספרייה מקומית של אמת המונעת שגיאות עתידיות.

דגלי אזהרה המעידים על ציטוט ממולא

היה חשדן כלפי הדפוסים הבאים:

• כותרות גנריות לחלוטין. כותרות שהן נכונות דקדוקית אך חסרות את העידון הספציפי של שפה אקדמית אמיתית.
• מספרי DOI בלתי אפשריים. מספרי DOI העומדים בתבנית אך אינם נפתחים, או נפתחים לעמוד הבית של ההוצאה לאור במקום למאמר ספציפי.
• רשימות מחברים ארוכות או קצרות מדי. במאמרים אמיתיים ברוב התחומים יש טווח אופייני של מחברים. רשימה של 15 מחברים עבור מאמר תיאורטי, או מחבר יחיד עבור מחקר אמפירי בקנה מידה גדול, עשויה להעיד על זיוף.
• שגיאות עיגול בתאריכים. אם ה-AI מצטט מאמר מ-"2024" אך מתאר ממצאים הדורשים עשור של נתונים אורכיים, התאריך כנראה שגוי.
• אשליית ה"ביטחון". אם ה-AI מציג את הציטוט בביטחון גבוה וללא היסוס, היו זהירים יותר, ולא פחות. מודלים הם לעיתים קרובות בעלי ביטחון עצמי גבוה ביותר כאשר הם מזייפים (hallucinating).

מבנה פרומפטים להפחתת שגיאות ציטוט

ניתן להפחית את הסבירות לשגיאות על ידי הגבלת הפלט של ה-AI בשלב הטיוטה.

• דרשו מטא-דאטה ספציפית. אל תבקשו "מאמרים רלוונטיים." בקשו "שלושה מאמרים שפורסמו אחרי 2020 עם מספרי DOI." אם לא תבקשו מספרי DOI, המודל כנראה ייצור כותרות מזויפות.
• הגבילו את ההיקף. בקשו ציטוטים עבור טענה צרה מאוד, ולא עבור נושא רחב. ככל שהטענה צרה יותר, כך הסיכוי שהמודל יסטה לשטח של הזיות קטן יותר.
• בקשו רמזים לאימות. בקשו מהמודל לציין את המשפט הראשון של התקציר או את המסקנה הספציפית של המאמר. אם הוא אינו יכול לספק קטע קוהרנטי, סביר להניח שהוא ממציא את המקור.
• השתמשו בבדיקה חוזרת. צרו רשימה של חמישה ציטוטים עבור טענה. אמתו שניים מהם. אם שניהם מזויפים, זרקו את כל הרשימה. אם שניהם אמיתיים, אמתו את שלושת הנותרים. גישת הדגימה הזו חוסכת זמן תוך שמירה על דיוק גבוה.