Як перевіряти посилання, згенеровані ШІ

Необхідно перевіряти кожне посилання, згенероване ШІ, незалежно підтверджуючи, що джерело існує і що його зміст дійсно підтверджує конкретне твердження, до якого воно прив’язане. Не покладайтеся на вивід моделі; розглядайте кожне посилання як гіпотезу, яка потребує ретельної перевірки за зовнішніми бібліографічними записами та оригінальним текстом.

Специфічні помилки при генерації посилань ШІ

Великі мовні моделі часто створюють посилання, які виглядають правдоподібно, але мають структурні помилки. Ці помилки зазвичай поділяються на три категорії:

• Вигадані назви. Модель вигадує назву, яка звучить академічно доречно, але не існує. Назва може поєднувати реальні концепції з різних галузей, створюючи фразу, що здається логічною, але не має історії публікацій.
• Невідповідність авторів. Назва або тема реальні, але список авторів неправильний. Модель може приписати статтю відомому досліднику в цій галузі, який її не писав, або переплутати ім’я та прізвище. Вона також може вигадати співавторів, щоб посилання виглядало більш надійним.
• Неправильні роки та метадані. Рік публікації, номер тому, діапазон сторінок або DOI можуть бути вигадані. Поширеною помилкою є призначення недавнього року старій фундаментальній праці або прикріплення DOI, який веде до зовсім іншої статті.

Ці помилки небезпечні, оскільки вони часто бувають непомітними. Читач може швидко переглянути посилання, впізнати тему та вважати посилання дійсним, не перевіряючи деталей.

Покроковий робочий процес перевірки

Для систематичної перевірки посилання дотримуйтесь цієї послідовності. Спочатку потрібно перевірити існування, а потім — підтримку.

1. Ізолюйте метадані. Скопіюйте повні дані цитування (автори, назва, рік, джерело, DOI за наявності) з вашого чернетки.

2. Перевірте наявність через DOI або реєстр. Якщо DOI надано, скористайтеся Crossref для запиту до реєстру DOI. Підтвердіть, що DOI вказує на реальний запис і що метадані точно відповідають вашому цитуванню. Якщо DOI не надано або ви перевіряєте книгу чи розділ, скористайтеся OpenAlex для пошуку за комбінацією назви та автора. Перевірте, чи існує відповідний запис у відкритому науковому індексі.

3. Звірте з вторинною базою даних. Використовуйте Google Scholar для пошуку за назвою. Шукайте кілька входжень цитування. Якщо стаття існує, ви побачите її цитованою іншими дослідниками. Перевірте анотацію, щоб переконатися, що тема збігається. Для біомедичних цитат використовуйте PubMed, щоб перевірити наявність статті в базі даних наук про життя та ознайомитися з анотацією. Для ширшого охоплення, особливо якщо у вас є доступ до інституційних підписок, використовуйте Scopus, щоб підтвердити наявність статті та її контекст.

4. Перевірте підтримку твердження. Це найважливіший крок. Отримайте доступ до повного тексту або анотації перевіреного джерела. Прочитайте конкретний розділ, де нібито міститься твердження. Запитайте: чи дійсно це джерело висловлює цей аргумент? Чи надає воно дані чи теорію, які передбачає ваш чернетка? Якщо джерело лише побіжно згадує тему або стверджує протилежне, цитування є недійсним для ваших цілей.

5. Зафіксуйте перевірене посилання. Після підтвердження збережіть запис у Zotero або Mendeley. Ці інструменти дозволяють зберігати перевірені метадані. Порівнюючи згенероване ШІ цитування зі своїми збереженими, перевіреними записами, ви створюєте локальну бібліотеку істини, яка запобігає майбутнім помилкам.

Ознаки, що вказують на вигадане цитування

Ставтеся з підозрою до таких шаблонів:

• Ідеально узагальнені заголовки. Заголовки, які граматично правильні, але позбавлені специфічних нюансів реальної академічної мови.
• Неможливі DOI. DOI, що відповідають формату, але не розв’язуються або ведуть на головну сторінку видавця замість конкретної статті.
• Списки авторів, що завдовжки або завкороткі. У більшості галузей реальні статті мають типовий діапазон кількості авторів. Список із 15 авторів для теоретичної роботи або один автор для масштабного емпіричного дослідження можуть свідчити про фальсифікацію.
• Помилки округлення в датах. Якщо ШІ цитує статтю "2024" року, але описує результати, які потребують десятирічних лонгітюдних даних, дата, ймовірно, хибна.
• Ілюзія "Впевненості". Якщо ШІ подає цитату з високою впевненістю та без вагань, будьте обережнішими, а не менш уважними. Моделі часто найбільш впевнені саме тоді, коли галюцинують.

Структурування запитів для зменшення помилок у цитуванні

Ви можете зменшити ймовірність помилок, обмежуючи вивід ШІ на етапі створення чернетки.

• Вимагайте конкретних бібліографічних метаданих. Не просіть "відповідні статті". Просіть "три статті, опубліковані після 2020 року з DOI". Якщо ви не вкажете потребу в DOI, модель, ймовірно, згенерує вигадані заголовки.
• Обмежуйте охоплення. Просіть цитати для дуже вузького твердження, а не для широкої теми. Чим вужче твердження, тим менша ймовірність того, що модель відхилиться в бік галюцинацій.
• Запитуйте підказки для верифікації. Попросіть модель навести перше речення з анотації або конкретний висновок статті. Якщо вона не може надати зв’язний фрагмент, вона, ймовірно, вигадує джерело.
• Використовуйте ітеративну перевірку. Згенеруйте список із п’яти цитат для твердження. Перевірте дві з них. Якщо обидві вигадані, відкиньте весь список. Якщо обидві реальні, перевірте решту трьох. Такий підхід із вибірковою перевіркою економить час, зберігаючи високу точність.