Bỏ qua để đến nội dung chính
LeoNex News

Phục vụ file lớn bằng Origin Range Requests

Sơ đồ cache chia tệp thành các chunk, lấy phần còn thiếu từ origin và chỉ trả về dải byte client yêu cầu.
Trong bài này

Range request là yêu cầu HTTP chỉ xin một phần của tài nguyên thay vì toàn bộ. Cách cache truyền thống với loại yêu cầu này dễ gây lãng phí băng thông mạng và thao tác đĩa khi vận hành CDN ở quy mô lớn. Cloudflare đã xây lại cơ chế cache cho range request và đưa ra tính năng Origin Range Requests, tự cấu hình được trên mọi gói, không cần chỉnh kích thước range hay liên hệ bộ phận hỗ trợ. Bài viết trình bày vấn đề của cách cũ, cách làm mới, các bước kiểm tra tính đúng đắn và kết quả thực tế.

Range request và vấn đề kích thước range

Client gửi một GET bình thường kèm header Range. Nếu server hỗ trợ, nó trả về 206 Partial Content và dùng Content-Range để cho biết các byte được trả về.

Range request thường gặp với các đối tượng lớn. Trình phát video có thể xin các byte quanh vị trí tua thay vì cả tệp. Công cụ tải xuống có thể tiếp tục sau khi bị gián đoạn. Package manager có thể lấy một phần của artifact. Client cũng có thể xem phần cuối của tệp mà không cần tải mọi thứ phía trước. Client quyết định có yêu cầu range hay không, và Cloudflare không thay đổi yêu cầu đó; Origin Range Requests chỉ thay đổi cách Cloudflare đáp ứng nó.

Cách triển khai cũ, qua cấu hình tĩnh theo zone, giống cache-slicing mô tả trong một bài blog của nginx: mỗi yêu cầu của client được ánh xạ sang các range kích thước cố định, với kích thước và phần mở rộng tệp cấu hình theo từng zone. Kích thước này tạo ra sự đánh đổi. Range nhỏ dẫn đến nhiều yêu cầu nhỏ tới origin và gây áp lực bộ nhớ khi gộp các yêu cầu trong bộ nhớ. Range lớn khiến Cloudflare tải về nhiều dữ liệu hơn nhiều so với phần client cần. Việc đổi kích thước còn làm vô hiệu các cache entry, vì kích thước nằm trong cache key.

  • Các yêu cầu đồng thời rơi vào cùng một range có thể chặn lẫn nhau, bất kể các range client yêu cầu cách xa nhau đến đâu.

  • Cache dựa trên nginx không kết hợp được range caching với concurrent streaming, tính năng cho phép nhiều client đọc một tệp từ cache khi nó vẫn đang được ghi.

  • Khi bật cả hai, phản hồi bị cắt ngắn, nên mỗi range phải tải xong hoàn toàn trước khi ai đó đọc được, và tệp phổ biến cần một lần fetch riêng tới origin cho từng range.

  • Số byte dư có thể đi qua nhiều phần của cache phân tán: từ origin tới một data center, giữa các tầng cache, rồi tới client, nên mỗi chặng nhân thêm lượng lãng phí.

Dùng chunk cố định làm đơn vị range

Giải pháp xuất phát từ việc Pingora vốn đã lưu mỗi tệp cache trên đĩa thành các chunk kích thước cố định, để dễ tiếp tục các lượt tải bị gián đoạn. Nếu cache đã tư duy theo chunk, kích thước range không cần là một thiết lập nữa: nó chính là chunk. Với một range request, Cloudflare kiểm tra byte nào đã được cache và phục vụ trực tiếp. Với byte còn thiếu, hệ thống fetch các range từ origin được căn theo ranh giới chunk, lưu kết quả vào cùng các chunk dùng cho lưu trữ cache thông thường, và chỉ trả về đúng các byte client yêu cầu.

Ví dụ, yêu cầu byte 150-250 có thể khiến Cloudflare fetch chunk đã căn chứa các byte đó, nhưng phản hồi gửi tới client vẫn chỉ chứa 150-250. Với yêu cầu nhỏ hơn kích thước chunk, việc fetch cả chunk vẫn có thể xảy ra, và các range không căn hàng cũng tốn thêm công việc. Điểm khác biệt là phần việc dư này có giới hạn và dự đoán được, không còn phụ thuộc vào kích thước range do khách hàng chọn, thứ từng gây tác động khó lường lên Cloudflare và origin.

Điều phối dữ liệu đã cache và đang tải

Phân tích header Range khá đơn giản. Khó hơn là tạo ra một phản hồi đúng khi các byte được yêu cầu nằm rải rác giữa dữ liệu đã cache, phản hồi từ origin và các lượt tải đang diễn ra. Ở mức tổng quát, edge thực hiện các bước sau.

  1. Tra cứu header của tài nguyên và metadata về phạm vi đã có.

  2. Đọc phần có thể đọc từ đĩa hoặc từ streaming trong bộ nhớ.

  3. Fetch phần còn thiếu từ origin bằng các range đã căn.

  4. Ghi các byte mới và ghi nhận range đã hoàn tất vào metadata.

  5. Ghép các phần lại và đặt Content-Range cùng Content-Length cho phản hồi gửi client.

Đây là một bộ điều phối (coordinator) chứ không phải một lần tra cache đơn lẻ. Một yêu cầu có thể dùng phần đầu đã cache, một lượt tải đang diễn ra và phần cuối mới fetch. Phản hồi nội bộ từ origin có thể lớn hơn phản hồi gửi xuống client, nhưng status và header phía client chỉ mô tả range được yêu cầu. Nếu một lượt tải đang chạy đã bao phủ các byte của yêu cầu khác, yêu cầu thứ hai có thể gắn vào lượt tải đó thay vì bắt đầu một lần fetch mới tới origin, giúp chia sẻ công việc khi lưu lượng đột biến trên các tệp lớn phổ biến. Thiết kế dùng lại mô hình dữ liệu cache sẵn có: header xác định phiên bản tài nguyên, phần thân lưu trong các chunk có giới hạn, và metadata ghi lại những range đã ghi thành công.

Kiểm tra trước khi ghép phản hồi

Phản hồi range được ghép chỉ hợp lệ khi mọi byte thuộc cùng một biểu diễn (representation) của tài nguyên. Bộ điều phối kiểm tra ba điều: mỗi phản hồi từ origin khớp với range đã yêu cầu, tổng kích thước tài nguyên ổn định, và entity tag nhất quán giữa các subrequest. Header If-Range cho phép client chỉ yêu cầu range nếu biểu diễn vẫn khớp một validator đã biết; nếu không khớp, Cloudflare trả về toàn bộ biểu diễn thay vì trộn byte từ các phiên bản khác nhau.

Cloudflare cũng tránh ghép range cho biểu diễn sắp bị giải nén, vì range trên chuỗi byte đã nén khác với range chọn trên phản hồi đã giải nén. Khi đó, hệ thống phục vụ toàn bộ phản hồi đã biến đổi thay vì quảng bá một range mà nó không thể đáp ứng đúng. Hành vi cuối cùng tuân theo HTTP chuẩn:

  • Range thỏa mãn được nhận 206 Partial Content kèm Content-Range chính xác.

  • Range không thỏa mãn được nhận 416 Range Not Satisfiable.

  • Phản hồi không thể chia range an toàn được phục vụ dưới dạng biểu diễn đầy đủ.

Kết quả thực tế và cách bật tính năng

R2 là người dùng nội bộ lớn nhất, với kích thước range cấu hình là 64 MiB, nên một lần đọc nhỏ vắt qua ranh giới range có thể tốn 128 MiB truyền giữa các data center. Sau khi chuyển R2 sang cách triển khai mới, hai cải thiện được ghi nhận:

  • Phản hồi nhanh hơn: trên các vùng lưu trữ của R2, p99 time to first byte giảm khoảng một nửa, cả khi cache hit lẫn cache miss.

  • Ít byte hơn trên mạng: bộ điều phối được dạy kết hợp byte đã có trên đĩa với byte fetch từ upstream trong một phản hồi duy nhất, trước đó một yêu cầu chỉ được phục vụ hoàn toàn từ cache hoặc hoàn toàn từ upstream. Sau khi bật cho R2, lưu lượng tiered cache của R2 và các workload tương tự giảm khoảng 6% theo tuần, tức là mỗi ngày bớt hàng petabyte dữ liệu di chuyển giữa các data center.

Origin Range Requests dành cho lưu lượng mà client tự nhiên yêu cầu từng phần của một đối tượng lớn có thể cache, chẳng hạn:

  • Video tải dần và tua được như MP4.

  • Các lượt tải lớn có thể tiếp tục.

  • Phân phối phần mềm và kho package.

  • Disk image, archive và các đối tượng nhiều gigabyte khác.

  • Workload huấn luyện và suy luận AI truyền tệp mô hình lớn hoặc lấy các vùng chọn lọc của model artifact.

  • Client chỉ lấy metadata hoặc một vùng nhỏ của tệp lớn.

Điểm chính

Nguồn tham khảo

Các nguồn mà bài viết này dựa vào.

  1. Origin Range Requests: Serving large files without range-request tuning (mở trong tab mới) — Cloudflare Blog

Xem thêm trong Software Engineering

Mô-đun zlib-rs đặt phía trên bộ máy CPython, cạnh khe dự phòng C, minh họa đề xuất backend Rust tùy chọn cho Python 3.16.
SOFT-ENG Software Engineering

Rust vào CPython? Thảo luận tại Python Language Summit

David Hewitt, đại diện nhóm dự án Rust for CPython, đã quay lại Python Language Summit để hỏi các core developer của Python muốn gì ở Rust. Ông đưa ra lộ trình theo từng giai đoạn, tiêu chí thành công và đề xuất bắt đầu bằng một backend Rust tùy chọn cho module zlib. Mục tiêu dài hạn là đưa Rust…

6 phút đọc

Núm chỉnh phiên bản chuyển từ 14.6 sang 15.6, với các chi tiết tượng trưng cho tính năng JavaScript, thay đổi hành vi và giới hạn bộ nhớ.
SOFT-ENG Software Engineering

Những thay đổi V8 đáng chú ý từ Node.js 26 lên 27

Bản Node.js 27 Alpha nâng cấp V8 lên phiên bản 15.6, từ 14.6 trong Node.js 26. Việc nâng cấp mang đến một số tính năng ngôn ngữ JavaScript mới, nhiều thay đổi về hành vi, cải thiện hiệu năng và điều chỉnh về bộ nhớ. Một số thay đổi có thể làm hỏng mã vốn dựa vào hành vi cũ, nên đáng để lập trình…

4 phút đọc

Bản tin qua email

Nhận tuyển chọn bài viết mới của LeoNex News qua email.

Chúng tôi chỉ dùng địa chỉ này để gửi bản tin.

Nhận tuyển chọn bài viết mới của LeoNex News qua email. Bạn sẽ nhận một email xác nhận; đăng ký chỉ có hiệu lực sau khi bạn xác nhận. Mỗi email đều có liên kết hủy đăng ký. Xem chính sách quyền riêng tư