Bỏ qua để đến nội dung chính
LeoNex News

Bảo mật AI agent: phát hiện hành vi bất thường

Sơ đồ phiên agent cho thấy công cụ fetch_records truy cập bảng payroll, với kết quả phát hiện lạm dụng công cụ mức cao.
Trong bài này

Mục tiêu và chuẩn bị môi trường

Trước khi áp dụng cho agent production, nên thử trong môi trường kiểm thử. Kết thúc hướng dẫn, người làm sẽ có bốn thứ:

  • Một agent mẫu đã bật Agent Anomaly Detection với telemetry (dữ liệu giám sát vận hành) được bật đầy đủ.

  • Hai phiên kiểm thử: một cuộc hội thoại bình thường chạy sạch, và một phiên ngoài phạm vi kích hoạt phát hiện bất thường cùng cảnh báo.

  • Phát hiện đầu tiên: bản phân tích bảo mật chi tiết cho biết vì sao agent bị đánh dấu, kèm đề xuất cách khắc phục.

  • Cảnh báo chủ động qua Cloud Monitoring và Security Command Center.

Hướng dẫn đi kèm một notebook mang tên Detect anomalous agent behavior with Agent Anomaly Detection, có trên Google Colab hoặc GitHub. Với bước nào làm được trên giao diện console, bài mô tả cách làm trên UI; notebook thực hiện cùng việc đó qua API của Agent Anomaly Detection, nhờ đó có sẵn mã để tự động hóa việc bật tính năng và đưa các phát hiện vào công cụ riêng.

Về điều kiện tiên quyết, cần có:

Bước 1: Triển khai agent hỗ trợ khách hàng mẫu

Agent mẫu có tên anomaly-detection-refund-demo, phụ trách giúp khách hàng kiểm tra lịch sử đơn hàng và yêu cầu hoàn tiền. Agent này cố ý có một lỗ hổng: công cụ fetch_records được cấp quyền quá rộng, có thể đọc mọi bảng, kể cả bảng payroll chứa dữ liệu nhạy cảm của nhân viên. Cả ba yếu tố của lethal trifecta đều có mặt: agent đọc được dữ liệu riêng tư, nhận đầu vào từ những người không thể kiểm chứng, và gửi những gì tìm được trở lại trong câu trả lời.

Phân quyền công cụ và guardrail (rào chắn an toàn) có thể chặn phần lớn tình huống, nhưng chúng chỉ chặn những gì đã được ghi ra từ trước. Agent Anomaly Detection đánh dấu các phiên lọt qua được những lớp đó, thường trong vòng vài phút. Điểm mấu chốt của lỗ hổng nằm ở công cụ không hề đối chiếu tên bảng với danh sách cho phép:

Toàn bộ dữ liệu là dữ liệu giả lập trong bộ nhớ, nên không có gì thật bị đọc hay hoàn tiền. Công cụ này cố ý để quá rộng nhằm minh họa chức năng của AAD và không nên sao chép vào production.

Các cell của Step 1 triển khai agent lên Agent Runtime. Có hai chi tiết giúp agent hiển thị với Agent Anomaly Detection. Thứ nhất, cell triển khai đặt ba biến môi trường để bật telemetry và ghi nội dung prompt cùng response vào Cloud Logging, nơi cơ chế phát hiện tìm dữ liệu:

Thứ hai, ngay sau khi triển khai, notebook gửi cho agent một tin nhắn thử. Agent Anomaly Detection phát hiện agent thông qua telemetry, nên agent chưa từng phục vụ yêu cầu nào sẽ không xuất hiện trong danh sách Monitored agents. Quá trình triển khai mất khoảng 5 đến 10 phút, rồi in ra tên tài nguyên của agent cùng câu trả lời cho tin nhắn thử.

Bước 2 và 3: Bật Agent Anomaly Detection và tạo hai phiên kiểm thử

Sang Step 3, notebook gửi hai cuộc hội thoại, mỗi cuộc trong một phiên riêng. Cuộc bình thường là khách hàng liệt kê đơn hàng và được hoàn tiền cho một chiếc đèn bị hỏng. Cuộc bất thường mô phỏng người dùng phát hiện lỗ hổng của fetch_records và dùng nó để lấy dữ liệu payroll:

Người dùng gần như không cần biết gì: chỉ một mã khách hàng và một tên riêng. Việc hỏi một bảng không tồn tại khiến agent tiết lộ các bảng hiện có, và đó là cách họ biết có bảng payroll trong tầm với. Notebook in ra cả hai bản ghi hội thoại cùng các lệnh gọi công cụ của agent, và các session ID sẽ được tra cứu ở bước sau.

Bước 4: Đọc kết quả phát hiện

Anomaly Detection quét các phiên trong vòng 5 phút. Ở trang đích, sẽ thấy một vài phiên đã được xử lý và một phiên bất thường được phát hiện. Để xem chi tiết phiên bất thường, bấm vào session id hoặc dán id đó vào thanh tìm kiếm. Màn hình chi tiết có ba ngăn:

  • Session (bên trái): mức độ nghiêm trọng tổng thể của phiên, kèm danh sách từng invocation bên dưới.

  • Conversation (ở giữa): toàn bộ bản ghi hội thoại giữa người dùng và agent.

  • Details (bên phải): từng detector đã kích hoạt, với mức nghiêm trọng, xác suất, lý do kích hoạt và các khuyến nghị.

Trong lần chạy minh họa, phát hiện hàng đầu là Tool misuse (lạm dụng công cụ) ở mức High với xác suất 95%. Các detector và mức nghiêm trọng của người chạy có thể khác, vì các mô hình đứng sau phần phân tích không mang tính xác định. Giải pháp được đề xuất là giới hạn công cụ fetch_records chỉ đọc từ những bảng cụ thể.

Bấm vào một invocation trong ngăn Session sẽ hiện phần phân tích của invocation đó trong Details. Mỗi invocation tự nó chỉ ở mức Medium, nhưng gộp lại thì cả phiên đạt mức High.

Bước 5: Cấu hình cảnh báo và triển khai thực tế

Để nhận thông báo mà không phải theo dõi console, có thể nối Agent Anomaly Detection với quy trình cảnh báo sẵn có. Trong Cloud Monitoring, tính năng xuất bản hai metric: Detected events, đếm số bất thường theo detector và mức nghiêm trọng, và Monitored agents, theo dõi độ phủ của việc giám sát. Muốn xem các metric này, bấm mũi tên cạnh View in Cloud Monitoring ở trang Anomaly detection và chọn một metric để mở trong Metrics Explorer.

Trong Security Command Center, mỗi bất thường còn được xuất bản dưới dạng một finding AGENT_SESSION_ANOMALY, nếu tính năng này được bật cho tổ chức. Có thể bấm View in Security Command Center để xử lý các finding này cùng những mối đe dọa khác, dùng Set security marks để gắn thẻ và theo dõi, và thiết lập thông báo cho các finding mức nghiêm trọng cao.

Khi sẵn sàng bảo vệ khối lượng công việc production, kế hoạch triển khai gồm ba bước:

  1. Chuẩn bị telemetry: cấu hình agent mục tiêu xuất nội dung prompt và response sang Cloud Trace và Cloud Logging (hiện hỗ trợ ở các multi-region US và EU).

  2. Bật cho agent: Agent Anomaly Detection tự động phát hiện agent mới và bắt đầu giám sát các phiên mới.

  3. Lặp lại và mở rộng: khi các phát hiện xuất hiện, áp dụng biện pháp giảm thiểu được đề xuất để củng cố system instruction hoặc công cụ của agent, rồi đưa agent tiếp theo vào giám sát.

Danh sách đầy đủ các điều kiện tiên quyết và việc đăng ký quyền truy cập Private Preview được nêu trong tài liệu Agent Anomaly Detection.

Điểm chính

  • Agent Anomaly Detection đọc trace và log sẵn có để đánh dấu các phiên mà agent đi ra ngoài phạm vi nhiệm vụ.

  • Phân quyền công cụ và guardrail chỉ chặn những gì đã được liệt kê trước; tính năng này bắt các phiên lọt qua, thường trong vài phút.

  • Telemetry phải được bật và agent phải phục vụ ít nhất một yêu cầu thì mới hiển thị trong Monitored agents.

  • Mỗi phát hiện nêu lý do bị đánh dấu và khuyến nghị khắc phục, chẳng hạn giới hạn fetch_records chỉ đọc từ các bảng cụ thể.

  • Cảnh báo qua Cloud Monitoring và Security Command Center giúp được thông báo về các bất thường trong tương lai.

Nguồn tham khảo

Các nguồn mà bài viết này dựa vào.

  1. Securing Your Agents: A Hands-On Guide to Agent Anomaly Detection (mở trong tab mới) — Google Developers Blog

Xem thêm trong AI Engineering

Sơ đồ vòng xử lý: đánh giá được lấy mẫu, LLM tạo bản tóm tắt, hệ thống kiểm tra căn cứ và phản hồi người dùng quay lại để cập nhật.
AI-ENG AI Engineering

Tóm tắt review tự động có vòng phản hồi: LLM chạy production tại Grab

Hệ thống Automated Merchant Review Summary System biến các đánh giá viết tay về cửa hàng thành bản tóm tắt ngắn gọn. Người tiêu dùng có thể xem tóm tắt tổng thể hoặc chọn một chủ đề cụ thể, còn merchant (cửa hàng, đối tác bán hàng) nhận biết được điều khách hàng đánh giá cao và khâu nào cần cải…

6 phút đọc

Dây chuyền ba bước đưa đặc tả và ngữ cảnh qua các cổng kiểm tra trước khi xuất mã đã xác minh.
AI-ENG AI Engineering

Context engineering và guardrails để "thuần hoá" coding agent

Coding Agent như Cursor, Windsurf, Cline hay Claude Code thường cho kết quả ấn tượng ở giai đoạn đầu, nhưng khi dự án lớn dần với nhiều file và nghiệp vụ rẽ nhánh, chúng có thể làm hỏng tính năng đang chạy, kéo thêm thư viện xung đột hoặc phá vỡ kiến trúc. Nguyên nhân nằm ở cách dùng thiếu cấu…

5 phút đọc

Bản tin qua email

Nhận tuyển chọn bài viết mới của LeoNex News qua email.

Chúng tôi chỉ dùng địa chỉ này để gửi bản tin.

Nhận tuyển chọn bài viết mới của LeoNex News qua email. Bạn sẽ nhận một email xác nhận; đăng ký chỉ có hiệu lực sau khi bạn xác nhận. Mỗi email đều có liên kết hủy đăng ký. Xem chính sách quyền riêng tư