Cách kiểm chứng trích dẫn do AI tạo

Bạn cần xác minh mọi trích dẫn do AI tạo ra bằng cách tự mình kiểm chứng rằng nguồn đó tồn tại và nội dung của nó thực sự hỗ trợ cho luận điểm cụ thể mà nó được gắn vào. Đừng tin vào kết quả đầu ra của mô hình; hãy xem mỗi tài liệu tham khảo như một giả thuyết cần được kiểm tra kỹ lưỡng đối chiếu với các hồ sơ siêu dữ liệu thư mục bên ngoài và văn bản gốc.

Các lỗi cụ thể khi tạo trích dẫn bằng AI

Các mô hình ngôn ngữ lớn thường tạo ra các trích dẫn trông có vẻ hợp lý nhưng lại bị lỗi về mặt cấu trúc. Những lỗi này thường thuộc ba nhóm sau:

• Tiêu đề bị bịa đặt. Mô hình tạo ra một tiêu đề nghe có vẻ phù hợp về mặt học thuật nhưng thực tế không tồn tại. Tiêu đề có thể kết hợp các khái niệm thực từ những lĩnh vực khác nhau, tạo thành một cụm từ có vẻ hợp lý nhưng không có lịch sử xuất bản.
• Tác giả không khớp. Tiêu đề hoặc chủ đề là thật, nhưng danh sách tác giả lại sai. Mô hình có thể gán một bài báo cho một nhà nghiên cứu nổi tiếng trong lĩnh vực đó dù họ không viết bài này, hoặc đảo lộn tên và họ. Mô hình cũng có thể bịa thêm các đồng tác giả để làm cho trích dẫn trông có vẻ đáng tin cậy hơn.
• Năm và siêu dữ liệu không chính xác. Năm xuất bản, số tập, phạm vi trang hoặc DOI có thể bị bịa đặt. Một lỗi phổ biến là gán năm gần đây cho một công trình nền tảng cũ hơn, hoặc đính kèm một DOI dẫn đến một bài viết hoàn toàn khác.

Những lỗi này thường nguy hiểm vì chúng khá tinh vi. Người đọc có thể lướt qua một trích dẫn, nhận ra chủ đề và cho rằng tài liệu tham khảo đó hợp lệ mà không kiểm tra kỹ các chi tiết.

Quy trình xác minh từng bước

Để kiểm tra trích dẫn một cách có hệ thống, hãy tuân theo trình tự sau. Trước tiên, bạn cần xác minh sự tồn tại, sau đó kiểm tra mức độ hỗ trợ.

1. Tách riêng siêu dữ liệu. Sao chép toàn bộ chi tiết trích dẫn (tác giả, tiêu đề, năm, nguồn, DOI nếu có) từ bản nháp của bạn.

2. Xác minh sự tồn tại qua DOI hoặc Registry. Nếu có DOI, hãy sử dụng Crossref để truy vấn registry DOI. Xác nhận rằng DOI dẫn đến một bản ghi thực và siêu dữ liệu khớp chính xác với trích dẫn của bạn. Nếu không có DOI, hoặc nếu bạn đang kiểm tra một cuốn sách hoặc chương sách, hãy sử dụng OpenAlex để truy vấn kết hợp giữa tiêu đề và tác giả. Kiểm tra xem có bản ghi khớp nào tồn tại trong chỉ mục học thuật mở hay không.

3. Đối chiếu chéo với cơ sở dữ liệu thứ cấp. Sử dụng Google Scholar để tìm kiếm tiêu đề. Tìm kiếm nhiều phiên bản của trích dẫn. Nếu bài báo tồn tại, bạn sẽ thấy nó được trích dẫn bởi các nhà nghiên cứu khác. Kiểm tra phần tóm tắt để đảm bảo chủ đề khớp nhau. Đối với trích dẫn trong lĩnh vực sinh học, hãy sử dụng PubMed để xác minh bài báo có tồn tại trong cơ sở dữ liệu khoa học sự sống và xem xét phần tóm tắt. Để có phạm vi bao quát rộng hơn, đặc biệt nếu bạn có quyền truy cập vào các gói đăng ký của tổ chức, hãy sử dụng Scopus để xác nhận sự tồn tại và bối cảnh của bài báo.

4. Xác minh hỗ trợ cho luận điểm. Đây là bước quan trọng nhất. Truy cập vào toàn văn hoặc phần tóm tắt của nguồn đã được xác minh. Đọc kỹ phần cụ thể nơi luận điểm được cho là được đưa ra. Hãy hỏi: nguồn này có thực sự đưa ra lập luận này không? Nó có cung cấp dữ liệu hoặc lý thuyết mà bản nháp của bạn ngụ ý không? Nếu nguồn chỉ đề cập đến chủ đề một cách thoáng qua hoặc lập luận ngược lại, thì trích dẫn đó không hợp lệ cho mục đích của bạn.

5. Lưu trữ tham chiếu đã xác minh. Sau khi xác nhận, hãy lưu bản ghi vào Zotero hoặc Mendeley. Các công cụ này cho phép bạn lưu trữ siêu dữ liệu đã được xác minh. Bằng cách so sánh trích dẫn do AI tạo với các bản ghi đã lưu và đã xác minh của bạn, bạn tạo ra một thư viện sự thật cục bộ giúp ngăn ngừa các lỗi trong tương lai.

Các dấu hiệu cảnh báo cho thấy trích dẫn bị bịa đặt

Hãy thận trọng với các mẫu hình sau:

• Tiêu đề quá chung chung. Những tiêu đề đúng ngữ pháp nhưng thiếu sắc thái đặc thù của ngôn ngữ học thuật thực tế.
• DOI không tồn tại. Các DOI tuân thủ định dạng nhưng không phân giải được, hoặc phân giải về trang chủ của nhà xuất bản thay vì một bài viết cụ thể.
• Danh sách tác giả quá dài hoặc quá ngắn. Trong hầu hết các lĩnh vực, các bài báo thực tế thường có số lượng tác giả trong một phạm vi nhất định. Một danh sách gồm 15 tác giả cho một bài viết lý thuyết, hoặc chỉ một tác giả cho một nghiên cứu thực nghiệm quy mô lớn, có thể là dấu hiệu của việc bịa đặt.
• Lỗi làm tròn trong ngày tháng. Nếu AI trích dẫn một bài viết từ năm "2024" nhưng mô tả các kết quả đòi hỏi dữ liệu dọc trong một thập kỷ, thì ngày tháng đó có khả năng là sai.
• Ảo giác về "Độ tin cậy". Nếu AI trình bày trích dẫn với sự tự tin cao và không do dự, hãy thận trọng hơn, chứ không phải ít hơn. Các mô hình thường tự tin nhất khi chúng đang tạo ra ảo giác.

Cấu trúc hóa Prompt để giảm lỗi trích dẫn

Bạn có thể giảm khả năng xảy ra lỗi bằng cách ràng buộc đầu ra của AI trong giai đoạn soạn thảo.

• Yêu cầu siêu dữ liệu cụ thể. Đừng chỉ yêu cầu "các bài viết liên quan." Hãy yêu cầu "ba bài viết được xuất bản sau năm 2020 kèm theo DOI." Nếu bạn không yêu cầu DOI, mô hình có khả năng sẽ tạo ra các tiêu đề giả.
• Giới hạn phạm vi. Yêu cầu trích dẫn cho một nhận định rất hẹp, không phải một chủ đề rộng. Nhận định càng hẹp, mô hình càng ít có khả năng đi lệch vào vùng ảo giác.
• Yêu cầu các manh mối xác minh. Hãy yêu cầu mô hình nêu câu đầu tiên của tóm tắt hoặc kết luận cụ thể của bài viết. Nếu nó không thể cung cấp một đoạn trích mạch lạc, có khả năng nó đang bịa đặt nguồn.
• Sử dụng kiểm tra lặp lại. Tạo một danh sách gồm năm trích dẫn cho một nhận định. Xác minh hai trong số đó. Nếu cả hai đều giả, hãy loại bỏ toàn bộ danh sách. Nếu cả hai đều thật, hãy xác minh ba trích dẫn còn lại. Cách tiếp cận lấy mẫu này tiết kiệm thời gian trong khi vẫn duy trì độ chính xác cao.