Hogyan ellenőrizzük a MI által generált idézeteket

Minden MI által generált idézetet függetlenül ellenőriznie kell: igazolja, hogy a forrás létezik, és hogy a tartalma valóban alátámasztja a hozzá rendelt konkrét állítást. Ne bízzon a modell kimenetében; kezeljen minden hivatkozást olyan hipotézisként, amelynek külső bibliográfiai adatbázisokkal és az eredeti szöveggel szembeni, alapos ellenőrzésen kell átesnie.

Az MI idézetgenerálásának konkrét hibamódjai

A nagy nyelvi modellek gyakran olyan idézeteket generálnak, amelyek hihetőnek tűnnek, de szerkezetileg hibásak. Ezek a hibák általában három kategóriába sorolhatók:

• Hallucinált címek. A modell olyan címet alkot, amely tudományosan helytállónak tűnik, de valójában nem létezik. A cím különböző területekről származó, valós fogalmakat kombinálhat, olyan kifejezést hozva létre, amely logikusnak tűnik, de nincs publikációs előzménye.
• Hibás szerzők. A cím vagy a téma valós, de a szerzőlista hibás. A modell egy cikket a terület egy ismert kutatójának tulajdoníthat, aki valójában nem írta azt, vagy felcserélheti a vezeték- és a keresztnevet. A modell társzerzőket is kitalálhat, hogy az idézet hitelesebbnek tűnjön.
• Hibás évek és metaadatok. A megjelenés éve, a kötet száma, az oldalszám-tartomány vagy a DOI kitalált lehet. Gyakori hiba, hogy egy régebbi, alapvető jelentőségű műhöz egy közeli évet rendelnek, vagy olyan DOI-t csatolnak, amely egy teljesen másik cikkre hivatkozik.

Ezek a hibák veszélyesek, mert gyakran finomak. Az olvasó rápillanthat egy idézetre, felismerheti a témát, és ellenőrzés nélkül érvényesnek tekintheti a hivatkozást.

Lépésről lépésre haladó ellenőrzési munkafolyamat

Az idézet szisztematikus ellenőrzéséhez kövesse ezt a sorrendet. Először a létezést kell igazolnia, majd az alátámasztást.

1. Válassza le a metaadatokat. Másolja ki a teljes hivatkozási adatokat (szerzők, cím, év, forrás, DOI, ha van) a vázlatból.

2. Ellenőrizze a létezést DOI vagy nyilvántartás segítségével. Ha van DOI, használja a Crossref oldalt a DOI-nyilvántartás lekérdezésére. Győződjön meg arról, hogy a DOI egy valós rekordra mutat, és hogy a metaadatok pontosan egyeznek a hivatkozással. Ha nincs DOI, vagy könyvet vagy fejezetet ellenőriz, használja az OpenAlex oldalt a cím és a szerző kombinációjának lekérdezésére. Nézze meg, hogy létezik-e megfelelő rekord a nyílt tudományos indexben.

3. Ellenőrizze egy másodlagos adatbázissal. Használja a Google Scholar oldalt a cím keresésére. Keressen a hivatkozás több előfordulását. Ha a cikk létezik, más kutatók hivatkozásainál is meg kell jelennie. Ellenőrizze az absztraktot, hogy a téma egyezzen-e. Biomedikai hivatkozások esetén használja a PubMed oldalt annak ellenőrzésére, hogy a cikk létezik-e az élettudományi adatbázisban, és az absztrakt áttekintésére. Szélesebb lefedettség érdekében, különösen intézményi előfizetések esetén, használja a Scopus oldalt a cikk létezésének és kontextusának megerősítésére.

4. Ellenőrizze az állítás támogatását. Ez a legfontosabb lépés. Hozza hozzáférhetővé a teljes szöveget vagy az ellenőrzött forrás absztraktját. Olvassa el azt a konkrét részt, ahol az állítást állítólag megfogalmazzák. Kérdezze meg: valóban ezt az érvelést teszi-e a forrás? Biztosítja-e a vázlat által feltételezett adatokat vagy elméletet? Ha a forrás csak mellékesen említi a témát, vagy az ellenkezőjét állítja, a hivatkozás nem érvényes a céljára.

5. Rögzítse az ellenőrzött hivatkozást. A megerősítés után mentse a rekordot a Zotero vagy a Mendeley eszközben. Ezek az eszközök lehetővé teszik az ellenőrzött metaadatok tárolását. Az AI által generált hivatkozás és a mentett, ellenőrzött rekordok összehasonlításával helyi igazságtárat hoz létre, amely megakadályozza a jövőbeli hibákat.

A gyártott hivatkozásra utaló figyelmeztető jelek

Gyanakodjon az alábbi mintákra:

• Túlságosan általános címek. Nyelvtanilag helyes, de a valódi tudományos nyelv specifikus árnyaltságát nélkülöző címek.
• Meg nem felelő DOI-k. Olyan DOI-k, amelyek megfelelnek a formátumnak, de nem oldódnak fel, vagy a kiadó főoldalára mutatnak egy konkrét cikk helyett.
• Túl hosszú vagy túl rövid szerzőlisták. A legtöbb területen a valódi cikkek szerzőinek száma egy tipikus tartományban mozog. Egy elméleti cikkhez tartozó 15 szerzőből álló lista, vagy egy nagy léptékű empirikus tanulmány egyetlen szerzője utalhat arra, hogy a forrás kitalált.
• Kerekítési hibák az évszámokban. Ha az AI egy „2024”-es évszámú cikket idéz, de olyan eredményeket ír le, amelyekhez évtizedes longitudinális adatokra van szükség, az évszám valószínűleg hibás.
• A „bizalom” illúziója. Ha az AI a hivatkozást nagy magabiztossággal és habozás nélkül tálalja, legyen inkább óvatosabb, nem kevésbé óvatos. A modellek gyakran akkor a legmagabiztosabbak, amikor hallucinálnak.

Promptok szerkesztése a hivatkozási hibák csökkentése érdekében

A hiba valószínűsége csökkenthető az AI kimenetének szűkítésével a vázlatkészítés fázisában.

• Konkrét metaadatok követelése. Ne „releváns cikkeket” kérjen. Kérjen „három, 2020 után megjelent cikket DOI-kkal”. Ha nem kér DOI-kat, a modell valószínűleg kitalált címeket generál.
• Hatókör szűkítése. Kérjen hivatkozásokat egy nagyon szűk állításra, ne egy általános témára. Minél szűkebb az állítás, annál kisebb az esélye, hogy a modell hallucinált tartományba csúszik.
• Ellenőrzési jelzők kérése. Kérje meg a modellt, hogy adja meg az absztrakt első mondatát vagy a cikk konkrét következtetését. Ha nem tud koherens részletet szolgáltatni, valószínűleg kitalálja a forrást.
• Iteratív ellenőrzés használata. Generáljon egy öt hivatkozásból álló listát egy állításhoz. Ellenőrizzen kettőt közülük. Ha mindkettő kitalált, dobja ki az egész listát. Ha mindkettő valós, ellenőrizze a maradék hármat. Ez a mintavételi megközelítés időt takarít meg, miközben magas pontosságot tart fenn.