Tại sao các bất thường kỹ năng tĩnh không đồng nghĩa với rủi ro thời gian chạy: Phân tích hành vi của quá trình thực thi LLM agent

Các khung LLM agent phụ thuộc nặng vào tài sản kỹ năng bên ngoài để chuẩn hoá cách dùng công cụ, mã hoá quy trình vận hành và cung cấp nguồn lực thời gian chạy có thể thực thi. Dù được áp dụng rộng rãi, các gói kỹ năng đa thành phần thường gặp sự bất đồng giữa các tác phẩm, nơi tài liệu, kị bản và tệp cấu hình chỉ định các ràng buộc hành vi mâu thuẫn. Dù các kỹ thuật kiểm tra tĩng có thể phát hiện những bất đồng hợp đồng này, khối lượng lỗi tĩng không thể phản ánh chính xác sự suy giảm hiệu năng thực tế của agent. Khoảng trống này để lại cho các chuyên gia không có bằng chứng nghi ngẫt để đánh giá rủi ro thực tế của kỹ năng agent bị lỗi. Bài báo cáo này trình bày một nghiên cứu thực nghiệm hệ thống để làm rõ hơn những hậu quả thời gian chạy của sự bất thường kỹ năng. Chúng tôi thực hiện kiểm tra quy mô lớn trên 575 kỹ năng cộng đồng và benchmark, cho ra 1.182 bất đồng hợp đồng được xác minh thủ công. Ngoài ra, chúng tôi xây dựng một đường ống đánh giá kiểm soát với 49 nhiệm vụ agent có thể thực thi và ba LLM đại diện, trong ba cài đặt thí nghiệm NoSkill, OriginalSkill và FixedSkill.