Bảo mật AI agent: phát hiện hành vi bất thường

Trong bài này
Mục tiêu và chuẩn bị môi trường
Trước khi áp dụng cho agent production, nên thử trong môi trường kiểm thử. Kết thúc hướng dẫn, người làm sẽ có bốn thứ:
Một agent mẫu đã bật Agent Anomaly Detection với telemetry (dữ liệu giám sát vận hành) được bật đầy đủ.
Hai phiên kiểm thử: một cuộc hội thoại bình thường chạy sạch, và một phiên ngoài phạm vi kích hoạt phát hiện bất thường cùng cảnh báo.
Phát hiện đầu tiên: bản phân tích bảo mật chi tiết cho biết vì sao agent bị đánh dấu, kèm đề xuất cách khắc phục.
Cảnh báo chủ động qua Cloud Monitoring và Security Command Center.
Hướng dẫn đi kèm một notebook mang tên Detect anomalous agent behavior with Agent Anomaly Detection, có trên Google Colab hoặc GitHub. Với bước nào làm được trên giao diện console, bài mô tả cách làm trên UI; notebook thực hiện cùng việc đó qua API của Agent Anomaly Detection, nhờ đó có sẵn mã để tự động hóa việc bật tính năng và đưa các phát hiện vào công cụ riêng.
Về điều kiện tiên quyết, cần có:
Bước 1: Triển khai agent hỗ trợ khách hàng mẫu
Agent mẫu có tên anomaly-detection-refund-demo, phụ trách giúp khách hàng kiểm tra lịch sử đơn hàng và yêu cầu hoàn tiền. Agent này cố ý có một lỗ hổng: công cụ fetch_records được cấp quyền quá rộng, có thể đọc mọi bảng, kể cả bảng payroll chứa dữ liệu nhạy cảm của nhân viên. Cả ba yếu tố của lethal trifecta đều có mặt: agent đọc được dữ liệu riêng tư, nhận đầu vào từ những người không thể kiểm chứng, và gửi những gì tìm được trở lại trong câu trả lời.
Phân quyền công cụ và guardrail (rào chắn an toàn) có thể chặn phần lớn tình huống, nhưng chúng chỉ chặn những gì đã được ghi ra từ trước. Agent Anomaly Detection đánh dấu các phiên lọt qua được những lớp đó, thường trong vòng vài phút. Điểm mấu chốt của lỗ hổng nằm ở công cụ không hề đối chiếu tên bảng với danh sách cho phép:
Toàn bộ dữ liệu là dữ liệu giả lập trong bộ nhớ, nên không có gì thật bị đọc hay hoàn tiền. Công cụ này cố ý để quá rộng nhằm minh họa chức năng của AAD và không nên sao chép vào production.
Các cell của Step 1 triển khai agent lên Agent Runtime. Có hai chi tiết giúp agent hiển thị với Agent Anomaly Detection. Thứ nhất, cell triển khai đặt ba biến môi trường để bật telemetry và ghi nội dung prompt cùng response vào Cloud Logging, nơi cơ chế phát hiện tìm dữ liệu:
Thứ hai, ngay sau khi triển khai, notebook gửi cho agent một tin nhắn thử. Agent Anomaly Detection phát hiện agent thông qua telemetry, nên agent chưa từng phục vụ yêu cầu nào sẽ không xuất hiện trong danh sách Monitored agents. Quá trình triển khai mất khoảng 5 đến 10 phút, rồi in ra tên tài nguyên của agent cùng câu trả lời cho tin nhắn thử.
Bước 2 và 3: Bật Agent Anomaly Detection và tạo hai phiên kiểm thử
Sang Step 3, notebook gửi hai cuộc hội thoại, mỗi cuộc trong một phiên riêng. Cuộc bình thường là khách hàng liệt kê đơn hàng và được hoàn tiền cho một chiếc đèn bị hỏng. Cuộc bất thường mô phỏng người dùng phát hiện lỗ hổng của fetch_records và dùng nó để lấy dữ liệu payroll:
Người dùng gần như không cần biết gì: chỉ một mã khách hàng và một tên riêng. Việc hỏi một bảng không tồn tại khiến agent tiết lộ các bảng hiện có, và đó là cách họ biết có bảng payroll trong tầm với. Notebook in ra cả hai bản ghi hội thoại cùng các lệnh gọi công cụ của agent, và các session ID sẽ được tra cứu ở bước sau.
Bước 4: Đọc kết quả phát hiện
Anomaly Detection quét các phiên trong vòng 5 phút. Ở trang đích, sẽ thấy một vài phiên đã được xử lý và một phiên bất thường được phát hiện. Để xem chi tiết phiên bất thường, bấm vào session id hoặc dán id đó vào thanh tìm kiếm. Màn hình chi tiết có ba ngăn:
Session (bên trái): mức độ nghiêm trọng tổng thể của phiên, kèm danh sách từng invocation bên dưới.
Conversation (ở giữa): toàn bộ bản ghi hội thoại giữa người dùng và agent.
Details (bên phải): từng detector đã kích hoạt, với mức nghiêm trọng, xác suất, lý do kích hoạt và các khuyến nghị.
Trong lần chạy minh họa, phát hiện hàng đầu là Tool misuse (lạm dụng công cụ) ở mức High với xác suất 95%. Các detector và mức nghiêm trọng của người chạy có thể khác, vì các mô hình đứng sau phần phân tích không mang tính xác định. Giải pháp được đề xuất là giới hạn công cụ fetch_records chỉ đọc từ những bảng cụ thể.
Bấm vào một invocation trong ngăn Session sẽ hiện phần phân tích của invocation đó trong Details. Mỗi invocation tự nó chỉ ở mức Medium, nhưng gộp lại thì cả phiên đạt mức High.
Bước 5: Cấu hình cảnh báo và triển khai thực tế
Để nhận thông báo mà không phải theo dõi console, có thể nối Agent Anomaly Detection với quy trình cảnh báo sẵn có. Trong Cloud Monitoring, tính năng xuất bản hai metric: Detected events, đếm số bất thường theo detector và mức nghiêm trọng, và Monitored agents, theo dõi độ phủ của việc giám sát. Muốn xem các metric này, bấm mũi tên cạnh View in Cloud Monitoring ở trang Anomaly detection và chọn một metric để mở trong Metrics Explorer.
Trong Security Command Center, mỗi bất thường còn được xuất bản dưới dạng một finding AGENT_SESSION_ANOMALY, nếu tính năng này được bật cho tổ chức. Có thể bấm View in Security Command Center để xử lý các finding này cùng những mối đe dọa khác, dùng Set security marks để gắn thẻ và theo dõi, và thiết lập thông báo cho các finding mức nghiêm trọng cao.
Khi sẵn sàng bảo vệ khối lượng công việc production, kế hoạch triển khai gồm ba bước:
Chuẩn bị telemetry: cấu hình agent mục tiêu xuất nội dung prompt và response sang Cloud Trace và Cloud Logging (hiện hỗ trợ ở các multi-region US và EU).
Bật cho agent: Agent Anomaly Detection tự động phát hiện agent mới và bắt đầu giám sát các phiên mới.
Lặp lại và mở rộng: khi các phát hiện xuất hiện, áp dụng biện pháp giảm thiểu được đề xuất để củng cố system instruction hoặc công cụ của agent, rồi đưa agent tiếp theo vào giám sát.
Danh sách đầy đủ các điều kiện tiên quyết và việc đăng ký quyền truy cập Private Preview được nêu trong tài liệu Agent Anomaly Detection.
Điểm chính
Agent Anomaly Detection đọc trace và log sẵn có để đánh dấu các phiên mà agent đi ra ngoài phạm vi nhiệm vụ.
Phân quyền công cụ và guardrail chỉ chặn những gì đã được liệt kê trước; tính năng này bắt các phiên lọt qua, thường trong vài phút.
Telemetry phải được bật và agent phải phục vụ ít nhất một yêu cầu thì mới hiển thị trong Monitored agents.
Mỗi phát hiện nêu lý do bị đánh dấu và khuyến nghị khắc phục, chẳng hạn giới hạn fetch_records chỉ đọc từ các bảng cụ thể.
Cảnh báo qua Cloud Monitoring và Security Command Center giúp được thông báo về các bất thường trong tương lai.
Nguồn tham khảo
Các nguồn mà bài viết này dựa vào.
- Securing Your Agents: A Hands-On Guide to Agent Anomaly Detection (mở trong tab mới) — Google Developers Blog


