Bỏ qua để đến nội dung chính
LeoNex News

Rust bật frontend song song trên nightly: biên dịch nhanh hơn

Mô hình compiler cắt lớp với frontend chia thành hai làn xử lý song song, bên cạnh núm chỉnh số luồng trên nightly.
Trong bài này

Bối cảnh: frontend và backend của trình biên dịch

Từ lâu, phần backend của trình biên dịch Rust (dùng LLVM) đã chạy trên nhiều luồng. Ngược lại, phần frontend, gồm type checking và borrow checking, vẫn chạy tuần tự trên một luồng, điều này giới hạn hiệu năng chung của compiler.

Frontend thực ra đã hỗ trợ chạy song song từ lâu nhưng không được bật mặc định vì còn nhiều vấn đề. Ba năm trước, nhóm phát triển cho phép chọn bật tính năng này trên kênh nightly, với kế hoạch stabilize vào năm 2024. Mục tiêu đó không đạt được, dù công việc vẫn tiến triển chậm trong thời gian sau.

Năm ngoái, Vadim Petrochenkov cùng một số người đóng góp khác khởi động một nỗ lực phối hợp để đưa parallel frontend về đích. Nhiều lỗi tồn tại lâu đã được sửa và hiệu năng được cải thiện. Nhóm muốn biết người dùng gặp vấn đề gì trong thực tế, nên chỉ bật mặc định trên nightly. Khi đủ tự tin tính năng hoạt động tốt, họ sẽ stabilize nó.

Hiệu năng: kết quả đo được

Lợi ích chính của parallel frontend là biên dịch chương trình Rust nhanh hơn. Bộ benchmark đo thời gian biên dịch crate lá (leaf crate) trong một crate graph. Kết quả khá đa dạng: có benchmark gần như không hưởng lợi, nhưng khi chạy cargo check trên các crate nalgebra, cargo hay diesel với 8 luồng, thời gian biên dịch nhanh gần gấp ba lần.

Bảng sau là mức thay đổi trung bình của wall-time (thời gian thực tế) trên các benchmark thực tế, khi build một crate từ đầu, so với frontend tuần tự:

  • 2 luồng frontend: check giảm 21.95 %, clippy giảm 20.74 %, debug giảm 14.2 %, opt giảm 12.51 %.

  • 4 luồng frontend: check giảm 37.99 %, clippy giảm 36.01 %, debug giảm 29.14 %, opt giảm 23.67 %.

  • 8 luồng frontend: check giảm 44.23 %, clippy giảm 41.76 %, debug giảm 36.1 %, opt giảm 27.88 %.

Việc song song hóa chưa hoàn hảo và nhóm phát triển dự định đầu tư thêm để cải thiện. Dù vậy, với 8 luồng, thời gian cargo check đầu-cuối của nhiều crate đã thử nhanh khoảng 2 lần.

Với incremental rebuild (build lại tăng dần), lợi ích khiêm tốn hơn nhiều và khó so sánh, vì hiệu năng phụ thuộc vào thay đổi cụ thể và cách bố trí các codegen unit. Trong bộ benchmark, mức cải thiện trung bình là 3-5 %. Hiện chưa có benchmark tốt cho trường hợp này nên kết quả thực tế có thể khác. Thú vị là bật parallel frontend đôi khi còn làm backend nhanh hơn.

Khi cả crate graph được biên dịch

Mọi số liệu ở trên chỉ đo việc biên dịch một crate đơn lẻ. Khi biên dịch cả crate graph, các lõi CPU có thể đã bận do song song hóa ở backend (LLVM) hoặc do Cargo biên dịch nhiều crate cùng lúc. Vì vậy hiệu quả cuối cùng phụ thuộc mạnh vào khối lượng công việc và số lõi hiện có.

Để minh họa, nhóm phát triển đo cargo check đầu-cuối trên chính crate cargo, trên máy 8 lõi CPU. Với 8 luồng, kết quả cải thiện đầu-cuối khoảng 15 %:

  • 36.7s với 1 luồng frontend.

  • 35.1s với 2 luồng frontend.

  • 31.9s với 4 luồng frontend.

  • 30.8s với 8 luồng frontend.

Khi các lõi CPU đã bị chiếm bởi việc biên dịch song song nhiều crate và LLVM, tác dụng tích cực của parallel frontend bị giảm đi.

Tinh chỉnh số luồng và cách tắt tính năng

Ban đầu, toolchain nightly mặc định dùng parallel frontend với 2 luồng. Đây là lựa chọn thận trọng: vẫn đủ để phát hiện lỗi tiềm ẩn mà không làm tăng nhiều mức dùng bộ nhớ.

Để thử số luồng khác, dùng cờ --jobs-frontend của compiler. Có thể đặt cờ này trong biến môi trường RUSTFLAGS hoặc trong tệp .cargo/config.toml, ví dụ:

toml
[ build ]
 rustflags = [ " -Zunstable-options " , " --jobs-frontend=8 " ]

Hiện hiệu năng của parallel frontend nhiều khả năng không scale tốt khi vượt khoảng 8 luồng, nhưng có thể thử trên workload của riêng mình. Số luồng cao hơn thường làm compiler tốn nhiều bộ nhớ hơn và trong trường hợp cực đoan có thể gây hết bộ nhớ.

Tính năng này chỉ được bật mặc định trên nightly. Toolchain stable vẫn dùng frontend tuần tự. Muốn tắt trên nightly, truyền -Zunstable-options --jobs-frontend=1 cho rustc, qua RUSTFLAGS hoặc tệp cấu hình:

toml
[ build ]
 rustflags = [ " -Zunstable-options " , " --jobs-frontend=1 " ]

Nếu phải tắt, nhóm phát triển mong được biết lý do trên GitHub hoặc Zulip, đặc biệt là các trường hợp compiler bị crash hoặc binary tạo ra không reproducible (không tái lập được) khi bật parallel frontend.

Hạn chế và các vấn đề đã biết

  • Do chạy song song, thứ tự các diagnostic (thông báo lỗi và cảnh báo) có thể không còn xác định khi dùng parallel frontend.

  • Trong một số tình huống, binary sinh ra có thể không reproducible. Nhóm phát triển coi những trường hợp này là lỗi, muốn xác định và sửa chúng.

  • Hiện có một số vấn đề đã biết liên quan đến khả năng tái lập của compiler khi dùng parallel frontend, và đang được xử lý.

Kế hoạch tiếp theo

Trong vài tháng tới, nhóm phát triển sẽ theo dõi GitHub và Zulip để nhận báo cáo lỗi về parallel frontend. Khi đủ tin tưởng rằng tính năng hoạt động tốt và không còn vấn đề lớn, họ muốn tiến tới stabilize.

Nhóm cũng muốn cải thiện hiệu năng. Cho đến nay phần lớn công sức dồn vào việc làm cho tính năng chạy đúng, chưa tinh chỉnh đến từng phần trăm, nên vẫn còn dư địa để tăng tốc.

Ngoài ra, nhiều phần của frontend hiện vẫn chạy tuần tự dù đã bật chế độ song song, và công việc để song song hóa thêm đang diễn ra. Năm ngoái có một dự án Google Summer of Code tập trung vào parallel macro expansion và name resolution, đồng thời có một pull request đang mở nhằm song song hóa bước lowering từ Abstract Syntax Tree (AST) sang High-Level Intermediate Representation (HIR). Vẫn còn nhiều việc phải làm ở mảng này.

Điểm chính

Nguồn tham khảo

Các nguồn mà bài viết này dựa vào.

  1. Enabling the parallel frontend on nightly (mở trong tab mới) — Rust Blog

Xem thêm trong Software Engineering

Mô-đun zlib-rs đặt phía trên bộ máy CPython, cạnh khe dự phòng C, minh họa đề xuất backend Rust tùy chọn cho Python 3.16.
SOFT-ENG Software Engineering

Rust vào CPython? Thảo luận tại Python Language Summit

David Hewitt, đại diện nhóm dự án Rust for CPython, đã quay lại Python Language Summit để hỏi các core developer của Python muốn gì ở Rust. Ông đưa ra lộ trình theo từng giai đoạn, tiêu chí thành công và đề xuất bắt đầu bằng một backend Rust tùy chọn cho module zlib. Mục tiêu dài hạn là đưa Rust…

6 phút đọc

Núm chỉnh phiên bản chuyển từ 14.6 sang 15.6, với các chi tiết tượng trưng cho tính năng JavaScript, thay đổi hành vi và giới hạn bộ nhớ.
SOFT-ENG Software Engineering

Những thay đổi V8 đáng chú ý từ Node.js 26 lên 27

Bản Node.js 27 Alpha nâng cấp V8 lên phiên bản 15.6, từ 14.6 trong Node.js 26. Việc nâng cấp mang đến một số tính năng ngôn ngữ JavaScript mới, nhiều thay đổi về hành vi, cải thiện hiệu năng và điều chỉnh về bộ nhớ. Một số thay đổi có thể làm hỏng mã vốn dựa vào hành vi cũ, nên đáng để lập trình…

4 phút đọc

Sơ đồ các task được scheduler điều phối, truy cập dữ liệu qua các mutex bảo vệ.
SOFT-ENG Software Engineering

Python free-threaded (không GIL): giai đoạn tiếp theo

Tại Python Language Summit, nhóm Tobias Wrigstad, Fridtjof Stoldt và Donghee Na trở lại với chủ đề thời kỳ hậu free-threading của Python và câu hỏi ngôn ngữ này nên cung cấp những nguyên thủy đồng thời (concurrency primitives) cấp cao nào. Nhóm đề xuất mô hình Behavior-Oriented Concurrency (BOC)…

5 phút đọc

Bản tin qua email

Nhận tuyển chọn bài viết mới của LeoNex News qua email.

Chúng tôi chỉ dùng địa chỉ này để gửi bản tin.

Nhận tuyển chọn bài viết mới của LeoNex News qua email. Bạn sẽ nhận một email xác nhận; đăng ký chỉ có hiệu lực sau khi bạn xác nhận. Mỗi email đều có liên kết hủy đăng ký. Xem chính sách quyền riêng tư

Rust bật frontend song song trên nightly: biên dịch nhanh…