Agent là "phiên", không phải "request": tính tài nguyên GKE cho AI agent

Trong bài này
Khi chuyển coding agent từ laptop lập trình viên lên một cụm GKE dùng chung, phiên làm việc của agent không giống một request web. Phiên mở suốt ngày nhưng chỉ làm việc một phần nhỏ thời gian, nên nếu mỗi phiên giữ một máy thì phần lớn hóa đơn node trả cho thời gian chờ. Agent Substrate và AX cho phép giữ phiên mở nhưng trả lại máy khi phiên đang chờ, và theo mô hình chi phí trong bài, cùng 100 agent có thể giảm từ 34 node xuống 16 node.
Phiên agent là phiên, không phải request
Hai cách chạy phổ biến và hạn chế của chúng
Hai cách thường gặp đều phù hợp với ứng dụng web nhưng bộc lộ hạn chế với agent.
Từ đó xuất hiện phương án thứ ba: giữ phiên và giải phóng máy trong lúc phiên chờ.
Agent Substrate và AX: đưa phiên rảnh vào object storage
Cần phân biệt hai khái niệm. Session là tương tác nhiều lượt giữa lập trình viên và agent, kèm lịch sử hội thoại. Phần compute phục vụ session là một sandbox cô lập, gọi là actor trong Agent Substrate hoặc Task trong AX. Việc park, tức đưa vào trạng thái tạm dừng, tác động lên sandbox, còn session vẫn mở.
SuspendActor chụp snapshot của actor đang rảnh vào object storage và giải phóng worker của nó. Request kế tiếp sẽ khôi phục actor trên một warm worker còn chỗ. Agent Substrate mặc định chụp snapshot bộ nhớ và quay về chụp tệp khi không chụp được bộ nhớ. Vì nhiều phiên đã park dùng chung một warm pool nhỏ, cùng 100 agent trong mô hình chi phí chỉ cần 16 node thay vì 34.
AX khai báo agent là gì và biết gì. Task cho biết cái gì chạy, gồm image, command và giới hạn; Workspace cho biết agent biết gì, gồm repository và tệp. AX chạy mỗi Task như một actor. Lệnh ax suspend park task và giữ nguyên /workspace. Hiện nay AX yêu cầu volume snapshot, nên tệp trở lại khi resume còn tiến trình của agent khởi động lại từ đầu. AX chuyển các thao tác suspend, resume và delete cho Agent Substrate. Lộ trình của AX dự kiến bổ sung budget, policy và gateway để giới hạn việc agent được phép làm, cùng bản ghi về những gì mỗi task đã làm.
Những điều cần quyết định trước khi tính kích thước pool
Hai chi tiết quyết định hóa đơn trước cả khi tính kích thước.
Thời điểm park do người triển khai quyết định. Agent Substrate không tự suspend actor đang rảnh, nên agent harness hoặc dịch vụ đứng trước nó phải gọi suspend API sau một idle timeout. Cho đến lúc đó actor rảnh vẫn giữ worker. Khi các actor rảnh chiếm hết worker, request cho actor khác phải chờ tối đa 5 giây theo mặc định rồi thất bại với HTTP 503.
Mức CPU cam kết cho mỗi sandbox cũng do người triển khai quyết định. Kích thước của actor được xác định bởi giới hạn CPU và memory, và mỗi worker tính các giới hạn đó vào dung lượng đã khai báo cho pool. Mô hình chi phí đặt dung lượng này đúng bằng dung lượng thật của node, nên mỗi actor giữ đủ giới hạn của mình. Có thể khai báo nhiều hơn dung lượng thật của node, khi đó CPU bị overcommit ở cấp pool thay vì trong từng Pod.
Park tiết kiệm được bao nhiêu trên GKE
Kết quả là park tiết kiệm gần 40% hóa đơn node. Pool đầy khoảng một lần trong 3,000 turn, nên prompt hiếm khi gặp lỗi 503. Nếu trong một giờ có 2,5 prompt thay vì 2, cùng 15 node đầy ở 3% số turn, vì vậy cần tính kích thước pool theo giờ bận nhất.
Hiệu quả của park phụ thuộc vào mức độ agent chờ và quy mô đội agent:
Ở 2 prompt mỗi giờ, mức tiết kiệm gần 40%. Ở 4 prompt mỗi giờ, agent làm việc 44% thời gian, pool tăng lên 27 node và mức tiết kiệm chỉ còn 4%. Trên khoảng 4 prompt mỗi giờ, mỗi phiên một Pod trở nên rẻ hơn, nên cần đo tần suất prompt trước.
Kích thước pool do người triển khai đặt. Tùy chọn autoscaling trong hướng dẫn cài đặt GKE bám theo worker Pod chứ không theo actor đã suspend, nên cần job theo lịch để scale pool về 0 ngoài giờ. Một pool chạy đủ 730 giờ của tháng tốn gần gấp đôi hóa đơn mô hình mỗi phiên một Pod.
Quy mô fleet có ý nghĩa: control plane của Agent Substrate tốn chi phí như nhau cho 10 hay 1,000 phiên, nên park có lợi từ khoảng 37 phiên coding, hoặc 13 phiên với trợ lý chat giả định làm việc khoảng một phút mỗi giờ.
Khi mỗi phiên một Pod lại rẻ hơn
Overcommit làm thay đổi phép so sánh. Nếu Pod yêu cầu CPU thấp hơn giới hạn, Kubernetes xếp Pod theo mức yêu cầu. Một Pod yêu cầu 0.25 vCPU với giới hạn 1 vCPU xếp được 12 Pod trên một node, vì 1 GiB bộ nhớ chặn ở mức đó. Khi đó 100 coding agent vừa trong 9 node, ít hơn pool đã park. Agent Substrate cũng có thể overcommit thông qua dung lượng khai báo trên worker pool, nhưng mô hình chi phí không tính trường hợp này.
Overcommit có cùng cái giá ở cả hai phía: các agent chia sẻ CPU và chậm đi khi các agent lân cận bận, chẳng hạn lúc build và chạy test. Vì vậy cần so sánh cùng điều kiện, tức Pod và actor có cùng mức đảm bảo CPU, trước khi quyết định park.
Điểm chính
Nguồn tham khảo
Các nguồn mà bài viết này dựa vào.
- Agents are sessions, not requests: size GKE node pools for AI agent sessions (mở trong tab mới) — Google Developers Blog


