Bỏ qua để đến nội dung chính
LeoNex News

Vì sao Job Kubernetes vẫn "Pending"? Lần theo Kueue bằng Headlamp

Sơ đồ cổng admission với Workload đang chờ, các điều kiện và liên kết tới hàng đợi, ResourceFlavor và Cohort; phía sau là vị trí Pod còn trống.
Trong bài này

Khi một Kubernetes Job chưa chạy, câu hỏi đầu tiên không nhất thiết là vì sao Pod đang Pending. Trong cụm được quản lý bởi Kueue, Job có thể vẫn ở trạng thái suspended vì Kueue chưa quyết định cho phép nó dùng tài nguyên, và khi đó chưa chắc đã có Pod nào để kiểm tra. Plugin Kueue cho Headlamp đưa quá trình điều tra này lên giao diện: bắt đầu từ Workload, đọc condition message, rồi lần theo các liên kết tới LocalQueue, ClusterQueue, ResourceFlavor và Cohort.

Tách bạch admission và Pod scheduling

Kueue và kube-scheduler trả lời hai câu hỏi khác nhau. Admission (bước Kueue cho phép một Workload bắt đầu chạy) xét chính sách hàng đợi, quota, ResourceFlavor, admission check và các Workload khác đang chờ. Pod scheduling diễn ra sau đó, khi Workload đã được admit và Job được resume: lúc này mới xác định node nào chạy được các Pod.

Ranh giới này quyết định hướng điều tra. Nếu Workload chưa được admit, cần ở lại phần Kueue của Headlamp. Nếu Workload đã admit nhưng Pod vẫn Pending, chuyển sang các view Job và Pod thông thường của Headlamp và xem các event của scheduler.

Điều kiện cần và phạm vi của plugin

Lần theo đường điều tra trong Headlamp

Quy trình bắt đầu từ Workload chứ không phải từ shell. Trong Headlamp, mở Kueue → Workloads, chọn namespace chứa Job rồi tìm Workload tương ứng. Workload là đối tượng Kueue tạo ra để biểu diễn yêu cầu tài nguyên và trạng thái admission của Job. Owner reference hiển thị dạng văn bản Kind/name và chưa bấm được, nhưng tên Workload thường chứa tên Job nên lọc namespace và tìm kiếm trong bảng là cách nhanh nhất.

Nếu không thấy Workload nào khớp, cần kiểm tra ba điều trước khi đi tiếp:

  • namespace đang chọn có đúng không

  • Job đã được gửi tới một LocalQueue hay chưa

  • tài khoản Kubernetes có quyền liệt kê Workload hay không

Khi mở trang chi tiết Workload, nên đọc status hiện tại và các condition trước khi xem toàn bộ YAML. Hai loại condition quan trọng nhất cho việc xử lý sự cố admission là QuotaReserved và Admitted. Phần Events cũng đáng xem: condition mô tả trạng thái hiện tại, còn event cho biết điều gì vừa thay đổi hoặc Kueue đã thử làm gì.

Tiếp theo, so sánh yêu cầu của Workload với phần được gán. Trang chi tiết hiển thị số Pod, CPU, bộ nhớ và các resource khác mà Kueue đánh giá cùng nhau. Điều này quan trọng vì một Job có parallelism: 3 và mỗi Pod yêu cầu một CPU thực chất đòi hỏi tổng cộng ba CPU; chỉ nhìn template của một Pod sẽ đánh giá thấp yêu cầu. Nếu quota đã được giữ, trang này còn hiển thị ClusterQueue, ResourceFlavor được gán và mức tài nguyên đã admit.

LocalQueue là điểm vào ở cấp namespace mà Job sử dụng, nối các Workload thuộc namespace với một ClusterQueue có phạm vi toàn cụm. Trang LocalQueue cho biết namespace, ClusterQueue được nối, stop policy, trạng thái hiện tại, số Workload ở các trạng thái pending, reserving và admitted, cùng các condition, event và những Workload liên quan trong cùng namespace. Từ đó có thể trả lời hai câu hỏi thực tế: Job có vào đúng hàng đợi mong đợi không, và nó có phải Workload duy nhất đang chờ ở đó không. Nếu LocalQueue không active hoặc bị dừng, đó có thể đã là lời giải thích.

ClusterQueue đại diện cho quota và chính sách admission ở cấp cụm dành cho một hoặc nhiều LocalQueue. Trên trang chi tiết, cần đối chiếu yêu cầu của Workload với các mục sau:

  • các resource được bao phủ

  • nominal quota cho từng ResourceFlavor

  • mức đặt trước và mức sử dụng hiện tại

  • giới hạn borrowing và lending

  • số Workload pending, reserving và admitted

  • queueing strategy và stop policy

  • các thiết lập preemption, fair-sharing, flavor-fungibility và admission-check

Quota không phải lúc nào cũng là một pool duy nhất. ResourceFlavor có thể đại diện cho một loại tài nguyên tính toán thông qua node label, taint, toleration hoặc thiết lập topology. Nên theo liên kết ResourceFlavor từ ClusterQueue khi condition nhắc tới việc gán flavor hoặc khi Workload cần một loại phần cứng cụ thể, chẳng hạn node GPU. Nếu ClusterQueue thuộc một Cohort, cũng nên theo liên kết đó: Cohort cho phép các ClusterQueue chia sẻ quota chưa dùng, và trang của nó hiển thị Cohort cha và con, các ClusterQueue thành viên, ResourceFlavor được tham chiếu, resource group, giới hạn borrowing và lending cùng thông tin fair-sharing. Các trang này giúp phân biệt Workload bị chặn vì hàng đợi không có quota riêng, vì không borrow đủ, hay vì không gán được flavor phù hợp.

Trong ví dụ mẫu, Workload yêu cầu ba Pod, tổng cộng ba CPU và 600 MiB bộ nhớ. ClusterQueue chỉ có nominal quota hai CPU và hai Pod slot. Từ đó, giao diện cho thấy một lời giải thích đầy đủ:

Vì vậy Kueue giữ Job ở trạng thái suspended cho đến khi có quota hoặc cấu hình hàng đợi thay đổi. Đây là vấn đề về năng lực admission, không phải bằng chứng cho thấy kube-scheduler không tìm được node. Headlamp không tạo ra trạng thái mới; nó đọc cùng các đối tượng Kubernetes API như các client khác rồi đặt tài nguyên liên quan và giá trị dễ đọc vào một luồng điều tra liền mạch.

Khi Workload đã admit và quy trình kiểm tra lặp lại

Nếu trang Workload hiển thị Admitted=True mà ứng dụng vẫn không chạy, phần việc của Kueue đã hoàn tất. Khi đó chuyển sang các view Kubernetes chuẩn của Headlamp:

  1. Mở Workloads → Jobs và xem trạng thái cùng event của Job.

  2. Mở Workloads → Pods và lọc theo tên Job hoặc namespace.

  3. Chọn một Pod đang Pending và đọc phần Events.

Ở giai đoạn này, cần tìm các vấn đề thuộc scheduler: node không đủ năng lực, node affinity, taint và toleration, ràng buộc topology, việc bind persistent volume hoặc lỗi kéo image. Quy tắc bàn giao có thể tóm gọn như sau.

  • Chưa admit: điều tra các tài nguyên Kueue trong Headlamp.

  • Đã Admitted nhưng Pod vẫn Pending: điều tra thông tin Job, Pod, node và scheduler trong Headlamp.

Với những lần sau, có thể dùng checklist ngắn này:

  1. Mở Kueue → Workloads và chọn đúng namespace.

  2. Tìm Workload gắn với Job.

  3. Kiểm tra status dễ đọc cùng các condition Admitted và QuotaReserved.

  4. Đọc condition message và các event gần đây.

  5. So sánh yêu cầu resource của PodSet với các phần được gán khi admit.

  6. Theo liên kết LocalQueue và xác nhận trạng thái cùng ClusterQueue của nó.

  7. Theo liên kết ClusterQueue và so sánh quota, mức đặt trước, mức sử dụng và chính sách.

  8. Xem chi tiết ResourceFlavor hoặc Cohort khi message nhắc tới việc chọn flavor hoặc quota dùng chung.

  9. Nếu đã admit, chuyển sang view Job và Pod của Headlamp.

So sánh với dòng lệnh và các giới hạn của bản alpha

Plugin không thay thế kubectl hay kueuectl khi cần script, đầu ra đối tượng chính xác hoặc thay đổi cấu hình. Nó thay thế việc điều hướng lặp đi lặp lại không có giao diện trong lúc điều tra tương tác. Với script và quy trình GitOps, dòng lệnh vẫn là công cụ phù hợp; còn với người đang hỏi vì sao Job đang chờ, đường dẫn liên kết trong Headlamp thường dễ đọc hơn. Bảng đối chiếu dưới đây rút ra từ cách hai bên trả lời cùng một câu hỏi.

  • Workload đã admit chưa: trong Headlamp xem status và condition của Workload; dòng lệnh tương đương là kubectl describe workload kèm tên Workload và namespace.

  • Job vào LocalQueue nào: theo liên kết LocalQueue từ Workload; dòng lệnh là kubectl get localqueue với tùy chọn -o yaml.

  • ClusterQueue nào cấp quota: theo liên kết từ LocalQueue; dòng lệnh là kubectl get clusterqueue với tùy chọn -o yaml.

  • Flavor hoặc quota dùng chung nào quan trọng: theo liên kết từ ClusterQueue tới ResourceFlavor hoặc Cohort; dòng lệnh là kubectl get resourceflavor hoặc kubectl get cohort với -o yaml.

  • Điều gì xảy ra sau khi admit: xem event ở Jobs và Pods; dòng lệnh là kubectl describe job hoặc kubectl describe pod.

Để tái hiện tình huống này, kho mã của plugin có sẵn các manifest mẫu cho Cohort, ClusterQueue, LocalQueue, ResourceFlavor và Job. Áp dụng chúng lên cụm đã cài Kueue rồi mở phần Kueue trong Headlamp. Để có đúng sự lệch quota như ví dụ, cấu hình một ClusterQueue với hai CPU và hai Pod slot, rồi gửi Job ba Pod, mỗi Pod yêu cầu một CPU. Job vào LocalQueue, Kueue tạo Workload, và Workload nằm chờ vì tổng yêu cầu lớn hơn quota hiện có.

Bản 0.1.0-alpha còn một số giới hạn: plugin không có luồng tạo, sửa, tạm dừng, resume hay xóa riêng; owner reference của Workload hiển thị dạng văn bản và chưa điều hướng được; giao diện phụ thuộc vào quyền Kubernetes của danh tính mà Headlamp sử dụng; metrics và bản đồ quan hệ trực quan mới là hướng phát triển tiếp theo chứ chưa phải tính năng của bản này.

Plugin được phát triển trong chương trình CNCF LFX Mentorship 2026 Term 2, sử dụng TypeScript, React, Kubernetes APIs và hệ thống plugin của Headlamp. Utkarsh Raj triển khai plugin với sự hướng dẫn và review của René Dudfield và Kevin Hannon.

Điểm chính

Nguồn tham khảo

Các nguồn mà bài viết này dựa vào.

  1. Why Is My Kubernetes Job Still Pending? Tracing Kueue Admission with Headlamp (mở trong tab mới) — Kubernetes Blog

Xem thêm trong Software Engineering

Mô-đun zlib-rs đặt phía trên bộ máy CPython, cạnh khe dự phòng C, minh họa đề xuất backend Rust tùy chọn cho Python 3.16.
SOFT-ENG Software Engineering

Rust vào CPython? Thảo luận tại Python Language Summit

David Hewitt, đại diện nhóm dự án Rust for CPython, đã quay lại Python Language Summit để hỏi các core developer của Python muốn gì ở Rust. Ông đưa ra lộ trình theo từng giai đoạn, tiêu chí thành công và đề xuất bắt đầu bằng một backend Rust tùy chọn cho module zlib. Mục tiêu dài hạn là đưa Rust…

6 phút đọc

Núm chỉnh phiên bản chuyển từ 14.6 sang 15.6, với các chi tiết tượng trưng cho tính năng JavaScript, thay đổi hành vi và giới hạn bộ nhớ.
SOFT-ENG Software Engineering

Những thay đổi V8 đáng chú ý từ Node.js 26 lên 27

Bản Node.js 27 Alpha nâng cấp V8 lên phiên bản 15.6, từ 14.6 trong Node.js 26. Việc nâng cấp mang đến một số tính năng ngôn ngữ JavaScript mới, nhiều thay đổi về hành vi, cải thiện hiệu năng và điều chỉnh về bộ nhớ. Một số thay đổi có thể làm hỏng mã vốn dựa vào hành vi cũ, nên đáng để lập trình…

4 phút đọc

Bản tin qua email

Nhận tuyển chọn bài viết mới của LeoNex News qua email.

Chúng tôi chỉ dùng địa chỉ này để gửi bản tin.

Nhận tuyển chọn bài viết mới của LeoNex News qua email. Bạn sẽ nhận một email xác nhận; đăng ký chỉ có hiệu lực sau khi bạn xác nhận. Mỗi email đều có liên kết hủy đăng ký. Xem chính sách quyền riêng tư