Jak weryfikować cytowania wygenerowane przez sztuczną inteligencję

Musisz zweryfikować każde cytowanie wygenerowane przez sztuczną inteligencję, niezależnie potwierdzając istnienie źródła oraz to, że jego treść rzeczywiście wspiera konkretne twierdzenie, do którego jest przypisane. Nie ufaj wynikowi modelu; traktuj każdy przypis jako hipotezę wymagającą szczegółowego sprawdzenia na podstawie zewnętrznych rekordów bibliograficznych oraz oryginalnego tekstu.

Konkretny rodzaj błędów w generowaniu cytowań przez AI

Duże modele językowe często generują cytowania, które wyglądają na prawdopodobne, ale są strukturalnie błędne. Te błędy dzielą się zazwyczaj na trzy kategorie:

• Halucynowane tytuły. Model wymyśla tytuł, który brzmi akademicko, ale nie istnieje. Tytuł może łączyć rzeczywiste koncepcje z różnych dziedzin, tworząc frazę logiczną, ale bez historii publikacji.
• Niezgodni autorzy. Tytuł lub temat są prawdziwe, ale lista autorów jest błędna. Model może przypisać pracę znanemu badaczowi z danej dziedziny, który jej nie napisał, lub zamienić imię i nazwisko. Może również wymyślać współautorów, aby cytowanie wyglądało na bardziej wiarygodne.
• Nieprawidłowe lata i metadane bibliograficzne. Rok publikacji, numer tomu, zakres stron lub DOI mogą być fikcyjne. Częstym błędem jest przypisanie najnowszego roku do starszej pracy przełomowej lub dołączenie DOI prowadzącego do zupełnie innego artykułu.

Te błędy są niebezpieczne, ponieważ często są subtelne. Czytelnik może rzucić okiem na cytowanie, rozpoznać temat i założyć, że przypis jest poprawny, bez sprawdzania szczegółów.

Etapowy proces weryfikacji

Aby systematycznie sprawdzić cytowanie, postępuj zgodnie z tą kolejnością. Najpierw zweryfikuj istnienie źródła, a następnie jego wsparcie dla twierdzenia.

1. Wyodrębnij metadane. Skopiuj pełne dane cytowania (autorzy, tytuł, rok, źródło, DOI, jeśli jest dostępne) z Twojego szkicu.

2. Zweryfikuj istnienie za pośrednictwem DOI lub rejestru. Jeśli podano DOI, użyj Crossref, aby odpytać rejestr DOI. Potwierdź, że DOI prowadzi do rzeczywistej rekordu i że metadane dokładnie odpowiadają Twojemu cytowaniu. Jeśli nie podano DOI lub sprawdzasz książkę albo rozdział, użyj OpenAlex, aby odpytać kombinację tytułu i autora. Sprawdź, czy w otwartym indeksie naukowym istnieje pasujący rekord.

3. Sprawdź krzyżowo z drugą bazą danych. Użyj Google Scholar, aby wyszukać tytuł. Szukaj wielu wystąpień cytowania. Jeśli artykuł istnieje, powinien być cytowany przez innych badaczy. Sprawdź abstrakt, aby upewnić się, że temat się zgadza. Dla cytowań biomedycznych użyj PubMed, aby zweryfikować istnienie artykułu w bazie nauk o życiu i przejrzeć abstrakt. Dla szerszego zasięgu, zwłaszcza jeśli masz dostęp do subskrypcji instytucjonalnych, użyj Scopus, aby potwierdzić istnienie artykułu i jego kontekst.

4. Zweryfikuj wsparcie dla tezy. To najważniejszy krok. Uzyskaj dostęp do pełnego tekstu lub abstraktu zweryfikowanego źródła. Przeczytaj konkretną sekcję, w której rzekomo znajduje się twierdzenie. Zadaj pytanie: czy to źródło rzeczywiście wysuwa ten argument? Czy dostarcza danych lub teorii sugerowanych w Twoim szkicu? Jeśli źródło wspomina o temacie tylko przelotnie lub argumentuje przeciwnie, cytowanie jest niewłaściwe dla Twoich celów.

5. Zapisz zweryfikowane odniesienie. Po potwierdzeniu zapisz rekord w Zotero lub Mendeley. Te narzędzia pozwalają przechowywać zweryfikowane metadane. Porównując cytowanie wygenerowane przez AI z zapisanymi, zweryfikowanymi rekordami, tworzysz lokalną bibliotekę faktów, która zapobiega przyszłym błędom.

Sygnały ostrzegawcze wskazujące na sfałszowane cytowanie

Bądź czujny wobec następujących wzorców:

• Zbyt ogólnikowe tytuły. Tytuły poprawne gramatycznie, ale pozbawione specyficznej niuansowości właściwej dla autentycznego języka akademickiego.
• Nierozwiązywalne DOI. Identyfikatory DOI zgodne z formatem, które nie prowadzą do żadnego miejsca lub kierują do strony głównej wydawcy zamiast do konkretnego artykułu.
• Listy autorów zbyt długie lub zbyt krótkie. W większości dziedzin rzeczywiste prace mają typowy zakres liczby autorów. Lista 15 autorów dla pracy teoretycznej lub pojedynczy autor dla dużego badania empirycznego mogą wskazywać na fabrykację.
• Błędy zaokrągleń w datach. Jeśli AI cytuje pracę z roku "2024", ale opisuje wyniki wymagające dekady danych podłużnych, data jest prawdopodobnie błędna.
• Iluzja pewności. Jeśli AI prezentuje cytat z dużą pewnością siebie i bez wahania, zachowaj większą ostrożność, a nie mniejszą. Modele często wykazują najwyższą pewność właśnie wtedy, gdy halucynują.

Strukturyzowanie promptów w celu ograniczenia błędów cytowania

Możesz zmniejszyć prawdopodobieństwo błędów, ograniczając wyjście AI podczas fazy tworzenia szkicu.

• Wymagaj konkretnych metadanych bibliograficznych. Nie proś o "istotne prace". Poproś o "trzy prace opublikowane po 2020 roku z DOI". Jeśli nie zażądasz DOI, model prawdopodobnie wygeneruje fikcyjne tytuły.
• Ogranicz zakres. Proś o cytaty dla bardzo wąskiego twierdzenia, a nie szerokiego tematu. Im węższe twierdzenie, tym mniejsze prawdopodobieństwo, że model zboczy w stronę halucynacji.
• Żądaj wskazówek weryfikacyjnych. Poproś model o podanie pierwszego zdania abstraktu lub konkretnej konkluzji pracy. Jeśli nie jest w stanie dostarczyć spójnego fragmentu, prawdopodobnie wymyśla źródło.
• Stosuj iteracyjną weryfikację. Wygeneruj listę pięciu cytatów dla twierdzenia. Zweryfikuj dwa z nich. Jeśli oba są fikcyjne, odrzuć całą listę. Jeśli oba są prawdziwe, zweryfikuj pozostałe trzy. To podejście próbkowe oszczędza czas, zachowując wysoką dokładność.