Fuzzer hay AI tìm lỗi tốt hơn? Fuzzilli và BigSleep trên JS engine

Trong bài này
Project Zero so sánh hai hệ thống tự động mà Google dùng để tìm lỗ hổng trong V8, engine JavaScript của Chrome: Fuzzilli, một công cụ fuzzing sinh mã JavaScript, và BigSleep, hệ thống tìm lỗi dựa trên LLM (mô hình ngôn ngữ lớn). Trong sáu tháng gần đây, BigSleep tìm được nhiều lỗ hổng hơn một chút (45 so với 37), nhưng chỉ khoảng 25% số lỗi trùng nhau. Các thí nghiệm riêng cho thấy mức trùng lặp lý thuyết khoảng 60%. Dù con số nào đúng, một phần đáng kể lỗ hổng chỉ một trong hai cách tiếp cận phát hiện được, nên hai cách bổ sung cho nhau.
Bối cảnh và phạm vi so sánh
Phép so sánh xoay quanh ba câu hỏi: mỗi cách tiếp cận tìm được bao nhiêu lỗi ngoài đời thực, mức trùng lặp giữa hai bên ra sao, và các lỗi chỉ một bên tìm thấy có hình dạng thế nào. Để so sánh trực tiếp, chỉ hai hệ thống được xét, và cả hai đều chạy trong môi trường production, tự động rà soát code mới thêm vào. Fuzzilli chạy liên tục trên nhiều instance, thường nhận thay đổi mới sau vài giờ. BigSleep hiện chạy mỗi ngày một lần, được yêu cầu xem xét các commit mới và viết testcase proof-of-concept cho những lỗi nó phát hiện. Cả hai báo lỗi qua Clusterfuzz, công cụ phân loại crash cơ bản rồi tạo báo cáo trong issue tracker của Chrome. Mục tiêu duy nhất là V8, một engine JavaScript và WebAssembly hiệu năng cao với hệ thống kiểm thử và fuzzing trưởng thành; các lỗi ở đây thường phức tạp nên phù hợp để đo khả năng tìm lỗi sâu trong phần mềm đã được kiểm thử kỹ.
Số liệu từ môi trường production
Dữ liệu lấy từ bug tracker của Chromium, nơi mỗi hệ thống có một hotlist riêng, trong khoảng tháng 4 đến tháng 9 năm 2026, vì pipeline BigSleep tự động chỉ hoạt động từ tháng 4. Các truy vấn gốc là:
Lọc theo type:vulnerability thì kết quả đảo chiều: Fuzzilli có 178 báo cáo, BigSleep có 95. Tuy nhiên dữ liệu này vẫn còn báo cáo trùng lặp và báo cáo không cần hành động, chẳng hạn lỗi bị đóng vì WAI. Có trường hợp bug do Clusterfuzz tạo rồi tự đóng trong cùng ngày vì testcase không còn tái hiện, mà không có tương tác nào từ lập trình viên. Nhiều khả năng đó là bản trùng của một bug khác nhưng chữ ký crash, suy ra từ stack trace, hơi khác nên bị bỏ sót.
Vì vậy, thước đo hợp lý hơn là các lỗi có thể hành động: không bị đánh dấu trùng lặp hay WAI và có ít nhất một commit sửa lỗi tham chiếu đến. Chỉ tính các bug Type-Vuln thì kết quả gần như hòa, BigSleep nhỉnh hơn chút: 45 so với 37. Về chi phí trên mỗi lỗi, hiện chưa thể so sánh vì cả hai hệ thống đều chưa được tối ưu cho tỷ lệ này.
Mức trùng lặp giữa hai hệ thống
Mức trùng lặp được đo theo hai hướng. Hướng thứ nhất dựa vào bug tracker, tìm các lỗi cả hai cùng phát hiện. Hướng thứ hai là thí nghiệm riêng, cho BigSleep thử tái phát hiện các lỗi Fuzzilli từng tìm ra.
Với hướng bug tracker, cần xử lý trùng lặp theo nhiều lớp:
Nhiều bản trùng không bao giờ có mục trong bug tracker vì đã được gộp ở tầng Clusterfuzz, nên cần truy vấn cả cơ sở dữ liệu của Clusterfuzz. Kết quả: trong các báo cáo lỗ hổng có thể hành động, mức trùng khoảng 25% (20 trên tổng 81), phần lớn hơn một chút do Fuzzilli tìm trước rồi BigSleep tìm sau.
Thí nghiệm tái phát hiện lỗi cũ
Thí nghiệm dùng cấu hình BigSleep sát production nhất có thể, yêu cầu agent rà soát commit nhiều khả năng đã gây ra mỗi lỗi Fuzzilli trong quá khứ. Chiều ngược lại, cho Fuzzilli tái phát hiện lỗi cũ của BigSleep, khó dựng hơn vì fuzzer không dễ nhận một điểm xuất phát tương tự. Ngoài ra, phần lớn lỗi BigSleep trong quá khứ được tìm thấy sau khi các fuzzer đã chạy trên bản build có lỗi nhiều tháng, thậm chí nhiều năm.
Quy trình chuẩn bị dữ liệu diễn ra theo các bước sau:
Lấy danh sách lỗi Fuzzilli cũ từ đầu năm 2023 đến giữa năm 2026, khoảng 1150 bug thô.
Giữ lại type:vulnerability, còn khoảng 600 lỗ hổng.
Giữ lại các bug tái hiện được trên bản build x64 debug+asan của d8 shell từ hạ tầng build công khai của Chrome, và tái hiện được mà không cần cờ đặc biệt. Chỉ cho phép các cờ chuẩn --fuzzing, --jit-fuzzing và --expose-gc, vì các bản V8 cũ chưa có chế độ chỉ-cờ-an-toàn và việc nói trước cờ nào cần dùng sẽ thành gợi ý. Còn lại 132 bug.
Loại các bản trùng ngầm, còn 112 bug.
Chuyển mỗi bug thành bài toán code review dựa trên commit nhiều khả năng đã gây lỗi, ví dụ xác định bằng bisection. Cách này bất lợi cho BigSleep vì đôi khi chọn nhầm commit không liên quan, và chỉ có một commit cho mỗi bug trong khi thực tế agent có thể phát hiện lỗi từ một commit khác chạm vào vùng code tương tự.
Chạy agent 25 lượt trên mỗi commit, yêu cầu tìm lỗi và chứng minh bằng testcase làm crash bản build có lỗi. Mỗi lượt dừng khi tìm thấy một crash, dùng cấu hình tương đương production lúc đó, kể cả mô hình nền Gemini 3.6 flash.
Hậu xử lý bằng cách kiểm tra testcase có làm crash bản trước khi sửa nhưng không crash bản sau khi sửa, để xác định agent tìm đúng lỗi hay lỗi khác.
Kết quả: BigSleep tái phát hiện khoảng 62% lỗi gốc, tìm thấy một lỗi khác (nay đã được sửa) ở khoảng 12% số commit, và không tìm thấy lỗi nào ở khoảng 26% số commit.
Memorization, độ khó, thành phần và prompt
Về độ khó, đo bằng thời gian Fuzzilli cần để phát hiện lỗi, kết quả có ý nghĩa thống kê dù độ lớn không cao và đi ngược kỳ vọng: lỗi khó với fuzzer cũng nhiều khả năng khó với AI agent. Vì thế các fuzzer nên tiếp tục chạy.
Theo thành phần, mức trùng lặp thấp hơn rõ rệt ở các lỗi compiler, mảng Fuzzilli có thể chuyên biệt nhất, và cao hơn ở phần còn lại của engine.
Về prompt, hai thí nghiệm bổ sung, chỉ chạy 5 lượt mỗi bug trên các lỗi chưa được tái phát hiện: xuất phát từ file hoặc hàm có lỗi thay vì commit, và nói rõ rằng assertion failure cùng các crash tương tự cũng được chấp nhận thay vì chỉ tìm lỗi memory corruption. Tổng cộng có thêm 10 lỗi được tái phát hiện: 8 từ điểm xuất phát khác và 7 từ prompt diễn đạt lại, trong đó 5 lỗi xuất hiện ở cả hai. Khi gộp, tỷ lệ tìm đúng lỗi lên khoảng 70%, và tìm thấy một loại lỗi nào đó ở khoảng 84% điểm xuất phát. Cần thận trọng vì việc tinh chỉnh tương tự cho fuzzer cũng có thể nâng tỷ lệ phát hiện.
Điểm chính
Nguồn tham khảo
Các nguồn mà bài viết này dựa vào.
- Fuzzers vs. AI: Comparing Fuzzilli and BigSleep on JavaScript Engines (mở trong tab mới) — Google Project Zero


