GPU Software trên Kubernetes dành cho GPU NVIDIA (H100, H200, L4, RTX PRO 6000)
Tổng quan
Managed Kubernetes with GPU trên FPT Cloud hỗ trợ GPU NVIDIA H100, H200, L4, và RTX PRO 6000. Trang này mô tả tùy chọn GPU Software (GPU Operator), các GPU Driver Installation Type (Pre-install, User-install, và Managed-install), các driver version được hỗ trợ — tối đa 615.71.09 (CUDA 13.4) — và cách driver type được chia sẻ giữa các worker group.
1. GPU và driver version được hỗ trợ
Những gì bạn có thể dùng phụ thuộc vào card GPU trong worker group — kiểm tra bảng này trước khi lên kế hoạch cho cluster.
Driver version theo từng card và installation type
Mỗi ô hiển thị driver version và CUDA version tương ứng. Với Managed-install, bảng chỉ hiển thị version mới nhất; các version cũ hơn vẫn khả dụng — xem GPU Driver Installation Type.
| Card | Pre-install | Managed-install | User-install |
|---|---|---|---|
| L4 | 595.91.07 (CUDA 13.2) | 615.71.09 (CUDA 13.4) | Hỗ trợ |
| RTX PRO 6000 | 580.82.07 (CUDA 13.0) | 615.71.09 (CUDA 13.4) | Hỗ trợ |
| A100 | 535.54.03 (CUDA 12.2) | Không hỗ trợ | Hỗ trợ |
| A30 | 535.54.03 (CUDA 12.2) | Không hỗ trợ | Hỗ trợ |
| H100 | 570.133.20 (CUDA 12.8) | 615.71.09 (CUDA 13.4) | Hỗ trợ |
| H200 | 570.133.20 (CUDA 12.8) | 615.71.09 (CUDA 13.4) | Hỗ trợ |
A100 và A30 không hỗ trợ Managed-install, nên các driver version mới hơn trong tài liệu này — bao gồm 615.71.09 — không khả dụng cho 2 card này.
2. GPU Software: GPU Operator
GPU Operator cài đặt và quản lý NVIDIA software trên GPU node giúp bạn. Để sử dụng H100/H200, chọn K8s version có hỗ trợ GPU Operator (v1.33 và v1.34) — các card khác không cần điều kiện này. Khi tạo cluster với 1 trong các version đó, phần GPU Software sẽ có thêm lựa chọn GPU Operator bên cạnh các lựa chọn hiện có.
Managed-install Driver bắt buộc phải có GPU Operator. Nếu chọn GPU Software khác, tùy chọn Managed-install sẽ không hiển thị.
Nếu không cấu hình GPU Software, bạn phải tự cài GPU Operator để container sử dụng được GPU resource, và cài Network Operator để sử dụng GPUDirect RDMA qua InfiniBand.
Trong mục GPU Information của cấu hình cluster, bạn thiết lập:
- GPU Software: GPU Operator.
- Software version: version GPU Operator muốn cài — console liệt kê các version khả dụng, ví dụ
v26.7.2. - Cluster mig strategy: cách MIG chia nhỏ GPU. Chỉ áp dụng với các card hỗ trợ MIG.
3. GPU Driver Installation Type
Installation type quyết định ai cài NVIDIA driver trên node và bạn có đổi được version sau đó hay không. Managed-install là loại duy nhất cho phép đổi driver version sau khi tạo cluster, và cũng là loại duy nhất có các version mới nhất.
| Loại | Mô tả | Cho phép cập nhật version sau khi tạo cluster? | Ghi chú |
|---|---|---|---|
| Pre-install | Driver được cài sẵn theo version đã chọn | Không | Nếu version bị deprecated, worker tương ứng mất hỗ trợ. Các version mới nhất như 615.71.09 chưa khả dụng |
| User-install | Người dùng tự cài đặt driver | Không | Có thể xảy ra không tương thích và FCI không hỗ trợ các trường hợp này |
| Managed-install | Driver được cài tự động | Có | Phải sử dụng GPU Operator. Áp dụng với H100, H200, L4, và RTX PRO 6000 |
Driver version được hỗ trợ cho Managed-install
| Version | CUDA |
|---|---|
| 535.247.01 | 12.2 |
| 550.163.01 | 12.4 |
| 570.158.01 | 12.8 |
| 580.82.07 | 13.0 |
| 595.71.05 | 13.2 |
| 615.71.09 | 13.4 |
Với RTX PRO 6000, danh sách bắt đầu từ 580.82.07.
Lưu ý khi nâng cấp driver Managed-install
- Hệ thống sẽ đợi toàn bộ workload đang sử dụng GPU trên node được undeploy trước khi tiến hành nâng cấp driver.
- Để trigger nâng cấp thủ công: vào namespace
fptcloud-gpu-operatorvà xóa các podnvidia-driver-*trên node tương ứng. - Đổi driver version của một worker group đang chạy sẽ gián đoạn GPU workload trên node đang nâng cấp — nên thực hiện trong maintenance window. Thời gian gián đoạn dự kiến dưới 5 phút.
4. Base và non-base worker group
Base worker group quyết định driver type cho các worker group khác trong cluster, nên cần chọn driver type cho nhóm này trước.
Base worker group không hỗ trợ Managed-install. Hãy dùng Pre-install hoặc User-install cho nhóm này.
Cách driver type được chia sẻ giữa các worker group
Driver type của base worker group sẽ quyết định driver type của các non-base worker group:
| Driver của base worker group | GPU của non-base worker group | Driver type được gán |
|---|---|---|
| Pre-install | Bất kỳ | Pre-install |
| User-install | Bất kỳ | User-install |
5. DRA trên Kubernetes v1.34
DRA (Dynamic Resource Allocation) là một tính năng của Kubernetes, generally available từ v1.34, cho phép workload yêu cầu GPU resource linh hoạt hơn so với cơ chế device plugin truyền thống (nvidia.com/gpu). Với DRA, bạn có thể yêu cầu GPU theo thuộc tính như driver version hoặc memory, chia sẻ 1 GPU cho nhiều container, hoặc cấp phát GPU theo nhu cầu. Điều này giúp cải thiện hiệu suất sử dụng GPU và giảm chi phí.
Để sử dụng DRA trên Managed Kubernetes with GPU, bạn cần:
- Cluster chạy Kubernetes v1.34 trở lên.
- Driver type Managed-install với major version từ 570 trở lên — các driver version
570.158.01,580.82.07,595.71.05, và615.71.09đều đáp ứng điều kiện này. kubectlđã cài đặt trên máy của bạn.
Xem chi tiết các bước cài đặt và sử dụng tại Sử dụng DRA cho GPU.