Dự án Zero đã so sánh hai công cụ tự động mà Google sử dụng để tìm lỗ hổng bảo mật trong động cơ JavaScript của Chrome, V8, một cách thường xuyên. Fuzzilli là một fuzzer JavaScript sinh học và BigSleep là một hệ thống tìm lỗi dựa trên LLM. Trong sáu tháng qua, BigSleep đã tìm thấy nhiều lỗ hổng hơn Fuzzilli (45 so với 37) với mức độ chồng lấn 25% trong số những lỗi cụ thể được báo cáo. Vì phương pháp so sánh này có xu hướng thấp ước tính mức độ chồng lấn, chúng tôi cũng đã thực hiện các thí nghiệm chuyên biệt để kiểm tra mức độ chồng lấn lý thuyết trong những lỗ hổng được báo cáo kể từ năm 2023. Những thí nghiệm này ước tính mức độ chồng lấn ở khoảng 60%. Bất kể giá trị nào là chính xác, một phần lớn lỗ hổng có thể được khám phá bởi chỉ LLMs hoặc chỉ bởi fuzzing. Mặc dù rất đáng hứa hẹn khi LLMs đã có khả năng tìm thấy nhiều lỗ hổng nhanh chóng như vậy, nhưng fuzzing và LLMs vẫn là những cách tiếp cận bổ trợ cho nhau. Chúng tôi khuyên các nhà cung cấp nên thực hiện cả fuzzing và phân tích agentic của mã của họ để tối đa hóa số lượng lỗ hổng được báo cáo trước khi chúng ảnh hưởng đến người dùng. Fuzzing đã được áp dụng thành công lâu dài vào các dự án phần mềm như Chrome hay V8 (động cơ JavaScript của Chrome) để phát hiện lỗi. Gần đây, sự xuất hiện của những mô hình LLM mạnh mẽ có khả năng đọc, lý luận và viết mã đang gây ra một sự thay đổi đột phá trong phát triển phần mềm và bảo mật phần mềm. Với hàng trăm, đôi khi hàng ngàn lỗi mới và lỗ hổng bảo mật đã được khám phá trong những mục tiêu được fuzzing kỹ lưỡng, một câu hỏi tự nhiên nảy sinh: các mô hình LLM mới so sánh như thế nào với những fuzzer "truyền thống"?
Nguồn chính
- THẢO LUẬNni5argalobste.rs