Đánh giá chất lượng đồ thị tri thức trong thời đại LLM: một khung lý thuyết

Đồ thị tri thức (KGs) đã được phổ biến trong vài thập kỷ qua và ngày càng được xây dựng cũng như tiêu thụ bởi các mô hình ngôn ngữ lớn (LLMs). Do đó, nhiều ứng dụng dựa vào KGs để cung cấp câu trả lời ngắn gọn, đầy đủ, chính xác, trung thực, mới và có thể truy xuất. Tuy nhiên, chất lượng của những KGs đó là bao nhiêu? Trong trường hợp nào nên sử dụng một KG, và có thể tin cậy để nền tảng cho một LLM không? Làm thế nào để đánh giá? Chúng tôi đã rà soát tài liệu về đánh giá chất lượng (QA) của dữ liệu, thông tin, dữ liệu liên kết, KGs và giao điểm giữa KGs và LLMs. Chúng tôi mở rộng các khung trạng thái hiện đại nhất tới một danh mục 24 kích thước chất lượng (QDs) và nhiều chỉ số chất lượng khác nhau (QMs). Hơn nữa, chúng tôi đề xuất một khung QA chung, có thể tùy chỉnh theo lĩnh vực hoặc nhiệm vụ và thực tế để đánh giá chất lượng của KGs.