Bỏ qua để đến nội dung chính
LeoNex News

Agent là "phiên", không phải "request": tính tài nguyên GKE cho AI agent

Sơ đồ phiên agent tiếp tục mở khi sandbox rảnh được lưu vào object storage, giúp pool dùng chung giảm từ 34 xuống 16 node.
Trong bài này

Khi chuyển coding agent từ laptop lập trình viên lên một cụm GKE dùng chung, phiên làm việc của agent không giống một request web. Phiên mở suốt ngày nhưng chỉ làm việc một phần nhỏ thời gian, nên nếu mỗi phiên giữ một máy thì phần lớn hóa đơn node trả cho thời gian chờ. Agent Substrate và AX cho phép giữ phiên mở nhưng trả lại máy khi phiên đang chờ, và theo mô hình chi phí trong bài, cùng 100 agent có thể giảm từ 34 node xuống 16 node.

Phiên agent là phiên, không phải request

Hai cách chạy phổ biến và hạn chế của chúng

Hai cách thường gặp đều phù hợp với ứng dụng web nhưng bộc lộ hạn chế với agent.

Từ đó xuất hiện phương án thứ ba: giữ phiên và giải phóng máy trong lúc phiên chờ.

Agent Substrate và AX: đưa phiên rảnh vào object storage

Cần phân biệt hai khái niệm. Session là tương tác nhiều lượt giữa lập trình viên và agent, kèm lịch sử hội thoại. Phần compute phục vụ session là một sandbox cô lập, gọi là actor trong Agent Substrate hoặc Task trong AX. Việc park, tức đưa vào trạng thái tạm dừng, tác động lên sandbox, còn session vẫn mở.

SuspendActor chụp snapshot của actor đang rảnh vào object storage và giải phóng worker của nó. Request kế tiếp sẽ khôi phục actor trên một warm worker còn chỗ. Agent Substrate mặc định chụp snapshot bộ nhớ và quay về chụp tệp khi không chụp được bộ nhớ. Vì nhiều phiên đã park dùng chung một warm pool nhỏ, cùng 100 agent trong mô hình chi phí chỉ cần 16 node thay vì 34.

AX khai báo agent là gì và biết gì. Task cho biết cái gì chạy, gồm image, command và giới hạn; Workspace cho biết agent biết gì, gồm repository và tệp. AX chạy mỗi Task như một actor. Lệnh ax suspend park task và giữ nguyên /workspace. Hiện nay AX yêu cầu volume snapshot, nên tệp trở lại khi resume còn tiến trình của agent khởi động lại từ đầu. AX chuyển các thao tác suspend, resume và delete cho Agent Substrate. Lộ trình của AX dự kiến bổ sung budget, policy và gateway để giới hạn việc agent được phép làm, cùng bản ghi về những gì mỗi task đã làm.

Những điều cần quyết định trước khi tính kích thước pool

Hai chi tiết quyết định hóa đơn trước cả khi tính kích thước.

  1. Thời điểm park do người triển khai quyết định. Agent Substrate không tự suspend actor đang rảnh, nên agent harness hoặc dịch vụ đứng trước nó phải gọi suspend API sau một idle timeout. Cho đến lúc đó actor rảnh vẫn giữ worker. Khi các actor rảnh chiếm hết worker, request cho actor khác phải chờ tối đa 5 giây theo mặc định rồi thất bại với HTTP 503.

  2. Mức CPU cam kết cho mỗi sandbox cũng do người triển khai quyết định. Kích thước của actor được xác định bởi giới hạn CPU và memory, và mỗi worker tính các giới hạn đó vào dung lượng đã khai báo cho pool. Mô hình chi phí đặt dung lượng này đúng bằng dung lượng thật của node, nên mỗi actor giữ đủ giới hạn của mình. Có thể khai báo nhiều hơn dung lượng thật của node, khi đó CPU bị overcommit ở cấp pool thay vì trong từng Pod.

Park tiết kiệm được bao nhiêu trên GKE

Kết quả là park tiết kiệm gần 40% hóa đơn node. Pool đầy khoảng một lần trong 3,000 turn, nên prompt hiếm khi gặp lỗi 503. Nếu trong một giờ có 2,5 prompt thay vì 2, cùng 15 node đầy ở 3% số turn, vì vậy cần tính kích thước pool theo giờ bận nhất.

Hiệu quả của park phụ thuộc vào mức độ agent chờ và quy mô đội agent:

  • Ở 2 prompt mỗi giờ, mức tiết kiệm gần 40%. Ở 4 prompt mỗi giờ, agent làm việc 44% thời gian, pool tăng lên 27 node và mức tiết kiệm chỉ còn 4%. Trên khoảng 4 prompt mỗi giờ, mỗi phiên một Pod trở nên rẻ hơn, nên cần đo tần suất prompt trước.

  • Kích thước pool do người triển khai đặt. Tùy chọn autoscaling trong hướng dẫn cài đặt GKE bám theo worker Pod chứ không theo actor đã suspend, nên cần job theo lịch để scale pool về 0 ngoài giờ. Một pool chạy đủ 730 giờ của tháng tốn gần gấp đôi hóa đơn mô hình mỗi phiên một Pod.

  • Quy mô fleet có ý nghĩa: control plane của Agent Substrate tốn chi phí như nhau cho 10 hay 1,000 phiên, nên park có lợi từ khoảng 37 phiên coding, hoặc 13 phiên với trợ lý chat giả định làm việc khoảng một phút mỗi giờ.

Khi mỗi phiên một Pod lại rẻ hơn

Overcommit làm thay đổi phép so sánh. Nếu Pod yêu cầu CPU thấp hơn giới hạn, Kubernetes xếp Pod theo mức yêu cầu. Một Pod yêu cầu 0.25 vCPU với giới hạn 1 vCPU xếp được 12 Pod trên một node, vì 1 GiB bộ nhớ chặn ở mức đó. Khi đó 100 coding agent vừa trong 9 node, ít hơn pool đã park. Agent Substrate cũng có thể overcommit thông qua dung lượng khai báo trên worker pool, nhưng mô hình chi phí không tính trường hợp này.

Overcommit có cùng cái giá ở cả hai phía: các agent chia sẻ CPU và chậm đi khi các agent lân cận bận, chẳng hạn lúc build và chạy test. Vì vậy cần so sánh cùng điều kiện, tức Pod và actor có cùng mức đảm bảo CPU, trước khi quyết định park.

Điểm chính

Nguồn tham khảo

Các nguồn mà bài viết này dựa vào.

  1. Agents are sessions, not requests: size GKE node pools for AI agent sessions (mở trong tab mới) — Google Developers Blog

Xem thêm trong AI Engineering

Sơ đồ vòng xử lý: đánh giá được lấy mẫu, LLM tạo bản tóm tắt, hệ thống kiểm tra căn cứ và phản hồi người dùng quay lại để cập nhật.
AI-ENG AI Engineering

Tóm tắt review tự động có vòng phản hồi: LLM chạy production tại Grab

Hệ thống Automated Merchant Review Summary System biến các đánh giá viết tay về cửa hàng thành bản tóm tắt ngắn gọn. Người tiêu dùng có thể xem tóm tắt tổng thể hoặc chọn một chủ đề cụ thể, còn merchant (cửa hàng, đối tác bán hàng) nhận biết được điều khách hàng đánh giá cao và khâu nào cần cải…

6 phút đọc

Dây chuyền ba bước đưa đặc tả và ngữ cảnh qua các cổng kiểm tra trước khi xuất mã đã xác minh.
AI-ENG AI Engineering

Context engineering và guardrails để "thuần hoá" coding agent

Coding Agent như Cursor, Windsurf, Cline hay Claude Code thường cho kết quả ấn tượng ở giai đoạn đầu, nhưng khi dự án lớn dần với nhiều file và nghiệp vụ rẽ nhánh, chúng có thể làm hỏng tính năng đang chạy, kéo thêm thư viện xung đột hoặc phá vỡ kiến trúc. Nguyên nhân nằm ở cách dùng thiếu cấu…

5 phút đọc

Bản tin qua email

Nhận tuyển chọn bài viết mới của LeoNex News qua email.

Chúng tôi chỉ dùng địa chỉ này để gửi bản tin.

Nhận tuyển chọn bài viết mới của LeoNex News qua email. Bạn sẽ nhận một email xác nhận; đăng ký chỉ có hiệu lực sau khi bạn xác nhận. Mỗi email đều có liên kết hủy đăng ký. Xem chính sách quyền riêng tư