Kiểm tra độ bền của suy luận nguyên nhân dựa trên LLMs

Tại sao một số hệ thống AI mạnh nhất thế giới vẫn gặp khó khăn trong việc suy luận về nguyên nhân và hậu quả? Khả năng khám phá mối quan hệ nguyên nhân, tức là nhận biết những yếu tố thực sự thúc đẩy một hệ thống, là nền tảng của mọi cuộc điều tra khoa học và truyền thống đã dựa vào dữ liệu có cấu trúc cùng các phương pháp thống kê. Gần đây, các mô hình ngôn ngữ lớn (LLMs) đã được đề xuất như một cách tiếp cận mới thay thế cho suy luận nguyên nhân, tận dụng kiến thức rộng lớn và khả năng suy luận của chúng. Tuy nhiên, dù rất lượng thông qua trong ngôn ngữ, các LLMs thường chỉ dựa vào nhận dạng mẫu bề mặt thay vì lôgic nguyên nhân thực sự. Dù đã biết rằng LLMs gặp khó trong lĩnh vực này, chúng ta vẫn chưa có bản đồ chính xác về những nơi, lý do và mức độ thất bại xảy ra. Trong bài báo này, chúng tôi đề xuất một khung kiểm tra thử hệ thống trên sáu chiều quan trọng: quy mô mô hình, độ phức tạp của đồ thị nguyên nhân, chiến lược gợi lệnh, chất lượng siêu dữ liệu, chất lượng dữ liệu và độ nhạy với sự bất định. Kết quả cho thấy các LLMs mang thái độ lạc quan quá mức; các mô hình thường ước tính cao các mối liên kết nguyên nhân, dẫn đến độ chính xác thấp ở mọi mức.