Chuyển tới nội dung chính

GPU Software trên Kubernetes dành cho GPU NVIDIA (H100, H200, L4, RTX PRO 6000)

Tổng quan​

Managed Kubernetes with GPU trên FPT Cloud hỗ trợ GPU NVIDIA H100, H200, L4, và RTX PRO 6000. Trang này mô tả tùy chọn GPU Software (GPU Operator), các GPU Driver Installation Type (Pre-install, User-install, và Managed-install), các driver version được hỗ trợ — tối đa 615.71.09 (CUDA 13.4) — và cách driver type được chia sẻ giữa các worker group.

1. GPU và driver version được hỗ trợ​

Những gì bạn có thể dùng phụ thuộc vào card GPU trong worker group — kiểm tra bảng này trước khi lên kế hoạch cho cluster.

Driver version theo từng card và installation type​

Mỗi ô hiển thị driver version và CUDA version tương ứng. Với Managed-install, bảng chỉ hiển thị version mới nhất; các version cũ hơn vẫn khả dụng — xem GPU Driver Installation Type.

CardPre-installManaged-installUser-install
L4595.91.07 (CUDA 13.2)615.71.09 (CUDA 13.4)Hỗ trợ
RTX PRO 6000580.82.07 (CUDA 13.0)615.71.09 (CUDA 13.4)Hỗ trợ
A100535.54.03 (CUDA 12.2)Không hỗ trợHỗ trợ
A30535.54.03 (CUDA 12.2)Không hỗ trợHỗ trợ
H100570.133.20 (CUDA 12.8)615.71.09 (CUDA 13.4)Hỗ trợ
H200570.133.20 (CUDA 12.8)615.71.09 (CUDA 13.4)Hỗ trợ
ghi chú

A100 và A30 không hỗ trợ Managed-install, nên các driver version mới hơn trong tài liệu này — bao gồm 615.71.09 — không khả dụng cho 2 card này.

2. GPU Software: GPU Operator​

GPU Operator cài đặt và quản lý NVIDIA software trên GPU node giúp bạn. Để sử dụng H100/H200, chọn K8s version có hỗ trợ GPU Operator (v1.33 và v1.34) — các card khác không cần điều kiện này. Khi tạo cluster với 1 trong các version đó, phần GPU Software sẽ có thêm lựa chọn GPU Operator bên cạnh các lựa chọn hiện có.

cảnh báo

Managed-install Driver bắt buộc phải có GPU Operator. Nếu chọn GPU Software khác, tùy chọn Managed-install sẽ không hiển thị.

cảnh báo

Nếu không cấu hình GPU Software, bạn phải tự cài GPU Operator để container sử dụng được GPU resource, và cài Network Operator để sử dụng GPUDirect RDMA qua InfiniBand.

Trong mục GPU Information của cấu hình cluster, bạn thiết lập:

  • GPU Software: GPU Operator.
  • Software version: version GPU Operator muốn cài — console liệt kê các version khả dụng, ví dụ v26.7.2.
  • Cluster mig strategy: cách MIG chia nhỏ GPU. Chỉ áp dụng với các card hỗ trợ MIG.

3. GPU Driver Installation Type​

Installation type quyết định ai cài NVIDIA driver trên node và bạn có đổi được version sau đó hay không. Managed-install là loại duy nhất cho phép đổi driver version sau khi tạo cluster, và cũng là loại duy nhất có các version mới nhất.

LoạiMô tảCho phép cập nhật version sau khi tạo cluster?Ghi chú
Pre-installDriver được cài sẵn theo version đã chọnKhôngNếu version bị deprecated, worker tương ứng mất hỗ trợ. Các version mới nhất như 615.71.09 chưa khả dụng
User-installNgười dùng tự cài đặt driverKhôngCó thể xảy ra không tương thích và FCI không hỗ trợ các trường hợp này
Managed-installDriver được cài tự độngCóPhải sử dụng GPU Operator. Áp dụng với H100, H200, L4, và RTX PRO 6000

Driver version được hỗ trợ cho Managed-install​

VersionCUDA
535.247.0112.2
550.163.0112.4
570.158.0112.8
580.82.0713.0
595.71.0513.2
615.71.0913.4

Với RTX PRO 6000, danh sách bắt đầu từ 580.82.07.

Lưu ý khi nâng cấp driver Managed-install​

  • Hệ thống sẽ đợi toàn bộ workload đang sử dụng GPU trên node được undeploy trước khi tiến hành nâng cấp driver.
  • Để trigger nâng cấp thủ công: vào namespace fptcloud-gpu-operator và xóa các pod nvidia-driver-* trên node tương ứng.
  • Đổi driver version của một worker group đang chạy sẽ gián đoạn GPU workload trên node đang nâng cấp — nên thực hiện trong maintenance window. Thời gian gián đoạn dự kiến dưới 5 phút.

4. Base và non-base worker group​

Base worker group quyết định driver type cho các worker group khác trong cluster, nên cần chọn driver type cho nhóm này trước.

cảnh báo

Base worker group không hỗ trợ Managed-install. Hãy dùng Pre-install hoặc User-install cho nhóm này.

Cách driver type được chia sẻ giữa các worker group​

Driver type của base worker group sẽ quyết định driver type của các non-base worker group:

Driver của base worker groupGPU của non-base worker groupDriver type được gán
Pre-installBất kỳPre-install
User-installBất kỳUser-install

5. DRA trên Kubernetes v1.34​

DRA (Dynamic Resource Allocation) là một tính năng của Kubernetes, generally available từ v1.34, cho phép workload yêu cầu GPU resource linh hoạt hơn so với cơ chế device plugin truyền thống (nvidia.com/gpu). Với DRA, bạn có thể yêu cầu GPU theo thuộc tính như driver version hoặc memory, chia sẻ 1 GPU cho nhiều container, hoặc cấp phát GPU theo nhu cầu. Điều này giúp cải thiện hiệu suất sử dụng GPU và giảm chi phí.

Để sử dụng DRA trên Managed Kubernetes with GPU, bạn cần:

  • Cluster chạy Kubernetes v1.34 trở lên.
  • Driver type Managed-install với major version từ 570 trở lên — các driver version 570.158.01, 580.82.07, 595.71.05, và 615.71.09 đều đáp ứng điều kiện này.
  • kubectl đã cài đặt trên máy của bạn.

Xem chi tiết các bước cài đặt và sử dụng tại Sử dụng DRA cho GPU.