Causal discovery bench liệu LLM có thể tự chủ thực hiện thí nghiệm hiệu quả không

Khi các LLM agent được áp dụng tích cực cho nghiên cứu tự chủ, chúng không chỉ cần suy luận trên bằng chứng hiện có mà còn phải thiết kế các thí nghiệm cung cấp thông tin, phân bổ tài nguyên, phân tích quan sát tuần tự và quyết định khi nào dừng và đưa ra kết luận. Tuy nhiên, những khả năng này vẫn được đo lường kém. Nhóm tác giả giới thiệu Causal-Discovery-Bench, một sandbox có thể kiểm chứng với các mô hình phương trình cấu trúc và ràng buộc tài nguyên có thể cấu hình để đánh giá thiết kế thí nghiệm tuần tự và khám phá nhân quả mà không cần các gợi ý ngữ nghĩa miền. Qua 3.802 episode với 13 model từ 5 vendor, nhóm tác giả phân tích hành vi agent theo 40 metrics trong bảy families. Hiệu suất của agent thể hiện một hệ thống phân cấp độ khó bốn cấp bao gồm thiết kế thí nghiệm đơn lẻ, khám phá tuần tự các mối quan hệ nhân quả, thí nghiệm nhận biết tài nguyên cân bằng chi phí và sức mạnh thống kê, và giải quyết tự chủ các bằng chứng mâu thuẫn.