Как да проверите цитатите, генерирани от ИИ

Трябва да проверите всяка цитата, генерирана от ИИ, като независимо потвърдите, че източникът съществува и че съдържанието му действително подкрепя конкретното твърдение, към което е прикрепено. Не се доверявайте на изхода на модела; разглеждайте всяка препратка като хипотеза, която изисква прецизно тестване спрямо външни библиографски записи и оригиналния текст.

Конкретните видове грешки при генерирането на цитати от ИИ

Големите езикови модели често генерират цитати, които изглеждат правдоподобни, но са структурно дефектни. Тези грешки обикновено попадат в три категории:

• Халуцинирани заглавия. Моделът измисля заглавие, което звучи академично подходящо, но не съществува. Заглавието може да комбинира реални концепции от различни области, създавайки фраза, която изглежда логична, но няма история на публикуване.
• Несъвпадащи автори. Заглавието или темата са реални, но списъкът с автори е грешен. Моделът може да припише статия на известен изследовател в областта, който не я е написал, или да размени имената и фамилиите. Може също да измисли съавтори, за да направи цитата да изглежда по-устойчива.
• Неправилни години и метаданни. Годината на публикуване, номерът на тома, диапазонът на страниците или DOI може да бъдат изфабрикувани. Честа грешка е присвояването на скорошна година на по-стара основополагаща работа или прикрепването на DOI, който води към напълно различна статия.

Тези грешки са опасни, защото често са фини. Читателят може да хвърли поглед на цитата, да разпознае темата и да предположи, че препратката е валидна, без да проверява детайлите.

Поетапен работен процес за проверка

За да проверите систематично цитата, следвайте тази последователност. Първо трябва да проверите съществуването, след това подкрепата.

1. Изолирайте метаданните. Копирайте пълните данни за цитиране (автори, заглавие, година, източник, DOI, ако има такъв) от черновата си.

2. Проверете съществуването чрез DOI или регистър. Ако е предоставен DOI, използвайте Crossref, за да заявите регистъра на DOI. Потвърдете, че DOI води до реален запис и че метаданните съвпадат точно с вашето цитиране. Ако няма DOI или проверявате книга или глава, използвайте OpenAlex, за да заявите комбинацията от заглавие и автор. Проверете дали съществува съвпадащ запис в отворения научен индекс.

3. Направете кръстосана проверка с вторична база данни. Използвайте Google Scholar, за да потърсите заглавието. Търсете множество инстанции на цитирането. Ако статията съществува, трябва да я видите цитирана от други изследователи. Проверете резюме, за да сте сигурни, че темата съвпада. За биомедицински цитати използвайте PubMed, за да проверите дали статията съществува в базата данни за биологични науки и да прегледате резюмето. За по-широко покритие, особено ако имате достъп до институционални абонаменти, използвайте Scopus, за да потвърдите съществуването и контекста на статията.

4. Проверете подкрепата на твърдението. Това е най-важната стъпка. Достъпете пълния текст или резюмето на проверения източник. Прочетете конкретния раздел, където твърдението е предположимо направено. Попитайте: този източник наистина ли излага този аргумент? Предоставя ли той данните или теорията, които вашата чернова предполага? Ако източникът споменава темата само между другото или защитава противоположното мнение, цитатът е невалиден за вашата цел.

5. Запишете проверената референция. След потвърждение запазете записа в Zotero или Mendeley. Тези инструменти позволяват съхраняването на проверени метаданни. Чрез сравняване на генерирания от AI цитат със запазените, проверени записи, създавате локална библиотека с достоверна информация, която предотвратява бъдещи грешки.

Червени флагове, които показват фалшифицирано цитиране

Бъдете внимателни към следните модели:

• Напълно общи заглавия. Заглавия, които са граматически правилни, но липсват специфичните нюанси на истинския академичен език.
• Невъзможни DOI. DOI, които следват формата, но не се отварят, или които водят към началната страница на издателя, а не към конкретна статия.
• Списъци с автори, които са твърде дълги или твърде къси. Реалните публикации в повечето области имат типичен диапазон от брой автори. Списък с 15 автори за теоретична статия или един единствен автор за мащабно емпирично проучване може да сигнализира за фалшификация.
• Грешки при закръглянето на датите. Ако ИИ цитира статия от "2024" г., но описва резултати, изискващи десет години лонгитюдни данни, датата вероятно е грешна.
• Илюзията за "Увереност". Ако ИИ представя цитата с висока увереност и без колебание, бъдете по-предпазливи, а не по-малко. Моделите често са най-уверени, когато халюцинират.

Структуриране на подканите за намаляване на грешките в цитирането

Можете да намалите вероятността от грешки, като ограничите изхода на ИИ по време на фазата на черновата.

• Изисквайте конкретни метаданни. Не искайте "релевантни статии". Поискайте "три статии, публикувани след 2020 г. с DOI". Ако не поискате DOI, моделът вероятно ще генерира фалшиви заглавия.
• Ограничете обхвата. Искайте цитати за много тясна теза, а не за широка тема. Колкото по-тясна е тезата, толкова по-малко вероятно е моделът да се отклони към халюцинирана територия.
• Искайте ориентири за проверка. Помолете модела да посочи първото изречение от резюме или конкретния извод на статията. Ако не може да предостави съгласуван фрагмент, вероятно измисля източника.
• Използвайте итеративна проверка. Генерирайте списък с пет цитата за дадена теза. Проверете два от тях. Ако и двата са фалшиви, отхвърлете целия списък. Ако и двата са истински, проверете останалите три. Този подход на извадки спестява време, като поддържа висока точност.