Bên trong kiến trúc lưu trữ Git mới của GitHub

Trong bài này
GitHub công bố kiến trúc lưu trữ Git mới, được xây dựng quanh một quan sát: chỉ phần cập nhật reference (con trỏ như nhánh trỏ tới commit) mới cần các bên đồng thuận. Nhờ đó, việc lưu dữ liệu, phục vụ yêu cầu và bảo trì repository có thể mở rộng độc lập với nhau. Trong thử nghiệm nội bộ, kiến trúc này chịu được 5,000 agent đồng thời làm việc trên một repository, với 7,200 lượt push mỗi giây, trong khi vẫn phục vụ lưu lượng đọc với độ trễ thấp ổn định. Với lập trình viên, Git vẫn là Git: cách push, fetch và rẽ nhánh không đổi.
Vì sao cần thiết kế lại cho quy mô agent
Quy mô của nền tảng được nhìn theo hai trục. Trục ngang là số lập trình viên và agent làm việc trên nhiều repository; các cách tiếp cận cũ như phân vùng tenant, bảo đảm cô lập hoặc công bằng giữa các tenant và định tuyến theo tải được giữ lại. Trục dọc là số người và agent cùng làm việc trên một repository, và hầu hết yêu cầu mới đến từ trục này.
Với một repository đơn lẻ, kiến trúc mới phải đáp ứng các yêu cầu sau:
Nhận hàng nghìn lượt ghi mỗi giây và hỗ trợ nhiều node ghi, vì việc lập chỉ mục pack và kiểm tra tính liên thông của object tốn CPU nhất, còn một node duy nhất sẽ sớm bị nghẽn tính toán.
Giảm độ trễ commit, vì agent phải chờ mỗi lượt push xong mới sang bước tiếp theo.
Ghi nhận thay đổi theo thứ tự cho từng reference, đồng thời có thể nhanh chóng sắp xếp tuần tự giữa các reference.
Giữ chi phí đọc thấp khi không có gì thay đổi, vốn là trường hợp phổ biến do tỷ lệ đọc so với ghi rất lớn.
Cho phép từng thành phần mở rộng độc lập.
Tổng quan kiến trúc Rubicon
Thiết kế được đặt tên Rubicon, bắt đầu từ tháng 5 năm 2026 sau đợt di chuyển ban đầu sang Azure. Trong mọi phương án thử nghiệm, dữ liệu pack nằm trong Azure Blob Storage. Phương án cuối cùng được chọn vì tối đa hóa thông lượng mà vẫn giữ các bảo đảm về tính đúng đắn, độ bền, tính sẵn sàng và độ trễ.
Yêu cầu từ Git client, API và giao diện web vẫn đi vào Spokes, thành phần tiếp tục lo định tuyến, cân bằng tải và duy trì vai trò dịch vụ xếp đặt cùng cân bằng. Phần data plane bên dưới Spokes mới là phần hoàn toàn mới. Spokes chuyển mỗi yêu cầu tới một trong nhóm nhỏ các virtual replica được gán cho repository. Virtual replica là đội máy tính dùng một lần, phục vụ đọc, ghi hoặc cả hai, và đĩa cục bộ của nó chỉ là cache có thể dựng lại bất cứ lúc nào.
Khi có thể, Spokes gửi lưu lượng của một repository tới cùng các virtual replica để giữ cache ấm và độ trễ thấp, nhưng tính đúng đắn không phụ thuộc vào việc yêu cầu rơi vào replica nào. Nếu một replica biến mất, các replica còn lại tiếp tục phục vụ và replica thay thế sẽ nạp cache khi lưu lượng đến. Khi repository bận hơn, hệ thống thêm virtual replica.
Trạng thái bền vững nằm ở hai nơi:
Git object, dưới dạng pack cùng dữ liệu phụ trợ giúp tăng tốc đọc, nằm trong Azure Blob Storage.
Các reference và danh sách pack cấu thành repository (pack manifest) nằm trong một dịch vụ nhật ký nhân bản riêng tên Ref-CAS, viết tắt của Reference Compare-and-Swap.
Luồng ghi diễn ra như sau: virtual replica lập chỉ mục pack nhận vào và tải lên Blob Storage, sau đó thực hiện một giao dịch tới Ref-CAS để đưa pack vào manifest và cập nhật các reference. Về sau, một compaction node gộp pack đó với các pack khác để giữ tốc độ đọc. Luồng đọc thì virtual replica kiểm tra phiên bản reference với Ref-CAS, kéo các pack cần thiết từ Blob Storage vào cache rồi phục vụ từ đó.
Giảm phối hợp: cập nhật reference ở thông lượng cao
Git object là bất biến và được đặt tên theo nội dung, nên hai bên ghi có thể lưu chúng cùng lúc mà không cần thống nhất với nhau. Phần cần đồng thuận của một lượt push là cập nhật reference, và phần này rất nhỏ so với toàn bộ dữ liệu. Phần lớn những gì nằm trong Blob Storage chỉ được ghi một lần vào một khóa riêng và không bao giờ đổi, nên rất hợp với object storage. Reference thì ngược lại: đó là trạng thái nhỏ mà nhiều lượt ghi cùng tranh nhau cập nhật.
Hai phương án dựa trên Blob Storage đã được thử và đều gặp giới hạn:
Phương án thứ nhất là một write-ahead log cho mọi reference của repository, được lập chỉ mục bằng một blob duy nhất, mỗi cập nhật là một lần ghi có điều kiện lên blob đó. Đọc rẻ, nhưng tại mỗi thời điểm chỉ một lần ghi có điều kiện được diễn ra, nên trần ghi là một lượt cho mỗi vòng truy cập tới blob. Thực tế chỉ đạt thông lượng ghi ở mức vài trăm mỗi giây.
Phương án thứ hai chia reference ra nhiều blob phân đoạn, mỗi reference băm vào một đoạn. Ghi vào các đoạn khác nhau không còn chờ nhau, nhưng một lượt đọc phải kiểm tra mọi đoạn và chỉ nhanh bằng đoạn chậm nhất. Nhóm đã đánh đổi độ trễ ghi lấy độ trễ đọc, trong khi đọc nhiều hơn ghi hàng bậc độ lớn.
Kết quả là dịch vụ Ref-CAS, một nhóm đồng thuận nhỏ dành riêng cho reference. Mỗi cập nhật là một phép compare-and-swap được quorum xác nhận: giao dịch chỉ khóa các reference mà nó chạm tới, kiểm tra từng reference còn giá trị mà bên ghi mong đợi, và trở nên hiển thị khi đa số replica của log đã ghi nhận. Vì agent chủ yếu push lên nhánh riêng, đa số cập nhật không tranh chấp và được nhân bản song song. Khi hai lượt push cập nhật cùng một reference, chỉ một lượt được thêm vào log.
Mỗi commit lên Ref-CAS nhận một log sequence number (LSN), và phiên bản của repository chính là LSN của commit mới nhất. Khi đọc, virtual replica gửi phiên bản trạng thái reference mà nó đang giữ. Nếu phiên bản đó vẫn mới nhất, phản hồi không kèm reference nào, nên một repository không đổi chỉ tốn một phép so sánh. Nếu replica đã tụt lại, nó nhận về các reference hiện tại và phiên bản, kèm con trỏ tới dữ liệu pack.
Ref-CAS không bao giờ giữ hay xác thực dữ liệu object, chỉ lưu con trỏ tới chúng. Virtual replica tải pack của lượt push lên Blob Storage trước khi commit giao dịch reference, nên một reference chỉ trỏ tới những object đã bền vững. Nhờ vậy, riêng trạng thái reference có thể được xử lý ở mức hàng chục nghìn thao tác mỗi giây.
Tách lưu trữ khỏi tính toán: compaction ở quy mô lớn
Mỗi lượt push thêm một pack vào Blob Storage. Git có thể phục vụ từ nhiều pack, nhưng mỗi pack thêm làm việc tra cứu đắt hơn một chút, nên số pack không thể tăng vô hạn. Ở kiến trúc cũ, compaction (gộp pack) chạy ngay trên các replica phục vụ lưu lượng, và phải chạy trên mọi replica. Ở kiến trúc mới, nó chạy hoàn toàn nền trên các node riêng, trực tiếp trên bộ lưu trữ bền vững, và dùng Ref-CAS để báo cho virtual replica về trạng thái thay đổi.
Các compaction node mỗi node nhận quyền sở hữu một phần dữ liệu của repository thông qua lease, nên compaction mở rộng theo chiều ngang được. Quy trình trên một shard diễn ra theo các bước sau:
Node lấy lease trên shard trong Blob Storage, để mỗi lúc chỉ một node gộp một shard.
Node đọc manifest để tìm các pack mới và gom chúng vào một segment đang mở.
Khi segment đạt giới hạn theo số pack, kích thước hoặc tuổi, node niêm phong segment rồi gộp các pack của nó thành ít pack lớn hơn.
Trong lúc gộp, segment kế tiếp của shard bắt đầu thu nhận pack đầu vào.
Trước khi công bố, node kiểm tra pack mới chứa đúng các object như pack đầu vào, tải pack mới lên và thêm vào manifest.
Một giao dịch thứ hai gỡ các pack đầu vào khỏi manifest, và bước dọn dẹp xóa chúng sau đó.
Để mở rộng, quy trình này chạy độc lập cho nhiều shard cùng lúc. Hash của mỗi pack ánh xạ tới một shard, nên thêm shard và node là thêm thông lượng compaction. Pack đã gộp mà còn dưới giới hạn kích thước sẽ quay lại một shard theo hash của chính nó và gộp tiếp, nên pack lớn dần theo từng tầng cho đến khi chạm giới hạn. Kết quả là số pack gần như phẳng dù lượng push tăng.
Compaction chỉ gộp pack nhưng giữ mọi object. Garbage collection là bước loại bỏ những object không còn được tham chiếu, chẳng hạn do nhánh bị xóa hoặc force-push. Bước này hoạt động tương tự compaction, dùng các worker riêng cho phần nặng về tính toán. Nhờ các cách làm này, độ trễ được duy trì phẳng khi lượng ghi tăng.
Hướng phát triển tiếp theo
Mục tiêu là mọi repository, từ dự án phụ của một lập trình viên đến monorepo bận rộn nhất, chạy trên cùng một kiến trúc mà không cần xử lý đặc biệt cho repository bận. Một kiến trúc duy nhất cũng đồng nghĩa mọi cải tiến đến với mọi repository cùng lúc. Kiến trúc hiện ở dạng private preview giới hạn, với đợt triển khai rộng hơn vào đầu năm sau.
Các cải tiến kiến trúc được lên kế hoạch gồm:
Chỉ đọc phần cần thiết: lấy một object từ Blob Storage thay vì cả pack chứa nó.
Tổ chức pack theo loại: nhóm commit, tree và blob vào các pack riêng.
Partial replica: phục vụ yêu cầu mà không cần mọi pack trên đĩa cục bộ.
Materialized view: giữ dữ liệu repository ở dạng dùng ngay, như archive dựng sẵn hoặc bản shallow copy gần thời gian thực của nhánh mặc định.
Global replica: đặt replica ở bất kỳ vùng nào, gần nơi sử dụng.
Scale to zero: co giãn đội máy theo các repository thực sự đang hoạt động.
Về thao tác của agent, các hạng mục tiếp theo gồm làm việc không cần clone, atomic commit API để đưa một thay đổi nhiều tệp vào trong một thao tác, và event stream để agent đăng ký nhận thay đổi theo thời gian thực. Ở phía Git, GitHub tiếp tục đóng góp cho dự án qua việc cải thiện partial clone, shallow clone và sparse checkout, loại bỏ các chi phí mở rộng ẩn, tăng tốc việc duyệt lịch sử bằng metadata như commit-graph, và cảnh báo trước những lỗi thường gặp.
Điểm chính
Nguồn tham khảo
Các nguồn mà bài viết này dựa vào.


