Rust bật frontend song song trên nightly: biên dịch nhanh hơn

Trong bài này
Bối cảnh: frontend và backend của trình biên dịch
Từ lâu, phần backend của trình biên dịch Rust (dùng LLVM) đã chạy trên nhiều luồng. Ngược lại, phần frontend, gồm type checking và borrow checking, vẫn chạy tuần tự trên một luồng, điều này giới hạn hiệu năng chung của compiler.
Frontend thực ra đã hỗ trợ chạy song song từ lâu nhưng không được bật mặc định vì còn nhiều vấn đề. Ba năm trước, nhóm phát triển cho phép chọn bật tính năng này trên kênh nightly, với kế hoạch stabilize vào năm 2024. Mục tiêu đó không đạt được, dù công việc vẫn tiến triển chậm trong thời gian sau.
Năm ngoái, Vadim Petrochenkov cùng một số người đóng góp khác khởi động một nỗ lực phối hợp để đưa parallel frontend về đích. Nhiều lỗi tồn tại lâu đã được sửa và hiệu năng được cải thiện. Nhóm muốn biết người dùng gặp vấn đề gì trong thực tế, nên chỉ bật mặc định trên nightly. Khi đủ tự tin tính năng hoạt động tốt, họ sẽ stabilize nó.
Hiệu năng: kết quả đo được
Lợi ích chính của parallel frontend là biên dịch chương trình Rust nhanh hơn. Bộ benchmark đo thời gian biên dịch crate lá (leaf crate) trong một crate graph. Kết quả khá đa dạng: có benchmark gần như không hưởng lợi, nhưng khi chạy cargo check trên các crate nalgebra, cargo hay diesel với 8 luồng, thời gian biên dịch nhanh gần gấp ba lần.
Bảng sau là mức thay đổi trung bình của wall-time (thời gian thực tế) trên các benchmark thực tế, khi build một crate từ đầu, so với frontend tuần tự:
2 luồng frontend: check giảm 21.95 %, clippy giảm 20.74 %, debug giảm 14.2 %, opt giảm 12.51 %.
4 luồng frontend: check giảm 37.99 %, clippy giảm 36.01 %, debug giảm 29.14 %, opt giảm 23.67 %.
8 luồng frontend: check giảm 44.23 %, clippy giảm 41.76 %, debug giảm 36.1 %, opt giảm 27.88 %.
Việc song song hóa chưa hoàn hảo và nhóm phát triển dự định đầu tư thêm để cải thiện. Dù vậy, với 8 luồng, thời gian cargo check đầu-cuối của nhiều crate đã thử nhanh khoảng 2 lần.
Với incremental rebuild (build lại tăng dần), lợi ích khiêm tốn hơn nhiều và khó so sánh, vì hiệu năng phụ thuộc vào thay đổi cụ thể và cách bố trí các codegen unit. Trong bộ benchmark, mức cải thiện trung bình là 3-5 %. Hiện chưa có benchmark tốt cho trường hợp này nên kết quả thực tế có thể khác. Thú vị là bật parallel frontend đôi khi còn làm backend nhanh hơn.
Khi cả crate graph được biên dịch
Mọi số liệu ở trên chỉ đo việc biên dịch một crate đơn lẻ. Khi biên dịch cả crate graph, các lõi CPU có thể đã bận do song song hóa ở backend (LLVM) hoặc do Cargo biên dịch nhiều crate cùng lúc. Vì vậy hiệu quả cuối cùng phụ thuộc mạnh vào khối lượng công việc và số lõi hiện có.
Để minh họa, nhóm phát triển đo cargo check đầu-cuối trên chính crate cargo, trên máy 8 lõi CPU. Với 8 luồng, kết quả cải thiện đầu-cuối khoảng 15 %:
36.7s với 1 luồng frontend.
35.1s với 2 luồng frontend.
31.9s với 4 luồng frontend.
30.8s với 8 luồng frontend.
Khi các lõi CPU đã bị chiếm bởi việc biên dịch song song nhiều crate và LLVM, tác dụng tích cực của parallel frontend bị giảm đi.
Tinh chỉnh số luồng và cách tắt tính năng
Ban đầu, toolchain nightly mặc định dùng parallel frontend với 2 luồng. Đây là lựa chọn thận trọng: vẫn đủ để phát hiện lỗi tiềm ẩn mà không làm tăng nhiều mức dùng bộ nhớ.
Để thử số luồng khác, dùng cờ --jobs-frontend của compiler. Có thể đặt cờ này trong biến môi trường RUSTFLAGS hoặc trong tệp .cargo/config.toml, ví dụ:
[ build ]
rustflags = [ " -Zunstable-options " , " --jobs-frontend=8 " ]Hiện hiệu năng của parallel frontend nhiều khả năng không scale tốt khi vượt khoảng 8 luồng, nhưng có thể thử trên workload của riêng mình. Số luồng cao hơn thường làm compiler tốn nhiều bộ nhớ hơn và trong trường hợp cực đoan có thể gây hết bộ nhớ.
Tính năng này chỉ được bật mặc định trên nightly. Toolchain stable vẫn dùng frontend tuần tự. Muốn tắt trên nightly, truyền -Zunstable-options --jobs-frontend=1 cho rustc, qua RUSTFLAGS hoặc tệp cấu hình:
[ build ]
rustflags = [ " -Zunstable-options " , " --jobs-frontend=1 " ]Nếu phải tắt, nhóm phát triển mong được biết lý do trên GitHub hoặc Zulip, đặc biệt là các trường hợp compiler bị crash hoặc binary tạo ra không reproducible (không tái lập được) khi bật parallel frontend.
Hạn chế và các vấn đề đã biết
Do chạy song song, thứ tự các diagnostic (thông báo lỗi và cảnh báo) có thể không còn xác định khi dùng parallel frontend.
Trong một số tình huống, binary sinh ra có thể không reproducible. Nhóm phát triển coi những trường hợp này là lỗi, muốn xác định và sửa chúng.
Hiện có một số vấn đề đã biết liên quan đến khả năng tái lập của compiler khi dùng parallel frontend, và đang được xử lý.
Kế hoạch tiếp theo
Trong vài tháng tới, nhóm phát triển sẽ theo dõi GitHub và Zulip để nhận báo cáo lỗi về parallel frontend. Khi đủ tin tưởng rằng tính năng hoạt động tốt và không còn vấn đề lớn, họ muốn tiến tới stabilize.
Nhóm cũng muốn cải thiện hiệu năng. Cho đến nay phần lớn công sức dồn vào việc làm cho tính năng chạy đúng, chưa tinh chỉnh đến từng phần trăm, nên vẫn còn dư địa để tăng tốc.
Ngoài ra, nhiều phần của frontend hiện vẫn chạy tuần tự dù đã bật chế độ song song, và công việc để song song hóa thêm đang diễn ra. Năm ngoái có một dự án Google Summer of Code tập trung vào parallel macro expansion và name resolution, đồng thời có một pull request đang mở nhằm song song hóa bước lowering từ Abstract Syntax Tree (AST) sang High-Level Intermediate Representation (HIR). Vẫn còn nhiều việc phải làm ở mảng này.
Điểm chính
Nguồn tham khảo
Các nguồn mà bài viết này dựa vào.


