Tổng quan Managed K8s with GPU VM
Managed K8s with GPU VM cho bạn cluster Kubernetes có worker node dùng GPU theo nhu cầu, không cần cấp phát bare metal riêng — FPT Cloud cấp phát virtual machine dùng GPU và quản lý control plane, với:
- Cấu hình GPU linh hoạt — nhiều loại GPU và tùy chọn GPU memory, áp dụng riêng cho từng Worker Group.
- Tự động quản lý và cấp phát GPU resource bằng NVIDIA GPU Operator.
- Visualization và monitoring GPU bằng NVIDIA DCGM.
- Tự động scale node/container bằng Autoscaler khi nhu cầu GPU thay đổi.
- Chia sẻ GPU bằng cơ chế Multi-Instance GPU (MIG), tối ưu resource và chi phí.
Tại region Hà Nội 2 và Nhật Bản, FPT Cloud hiện hỗ trợ Kubernetes dùng NVIDIA H100 và H200.
Nếu đây là lần đầu bạn dùng dịch vụ này, hoàn thành các tác vụ trong Initial setup trước khi tạo cluster.
GPU Operator hoạt động thế nào
FPT Cloud dùng NVIDIA GPU Operator để tự động quản lý các thành phần phần mềm mà cluster Kubernetes cần để dùng GPU — nhờ đó bạn dùng GPU resource giống hệt cách dùng CPU resource. Operator cài đặt và quản lý:
- NVIDIA Drivers (CUDA, MIG, v.v.)
- NVIDIA Device Plugin
- NVIDIA Container Toolkit
- NVIDIA GPU Feature Discovery
- NVIDIA Data Center GPU Manager (monitoring)
Tham chiếu cấu hình MIG
Multi-Instance GPU (MIG) chia 1 GPU vật lý thành nhiều instance nhỏ hơn, tách biệt, để các Pod dùng chung.
Cấu hình MIG áp dụng cho mọi card gắn trên worker. Mọi worker group trong cùng 1 cluster phải dùng cùng 1 loại MIG strategy (single/mixed/none).
GPU H100 SXM5
| # | Label | Strategy | Số instance | Instance resource |
|---|---|---|---|---|
| 1 | all-1g.10gb | single | 7 | 1g.10gb |
| 2 | all-1g.20gb | single | 4 | 1g.20gb |
| 3 | all-2g.20gb | single | 3 | 2g.20gb |
| 4 | all-3g.40gb | single | 2 | 3g.40gb |
| 5 | all-4g.40gb | single | 1 | 4g.40gb |
| 6 | all-7g.80gb | single | 1 | 7g.80gb |
| 7 | all-balanced | mixed | 2 / 1 / 1 | 1g.10gb / 2g.20gb / 3g.40gb |
| 8 | none (không label) | none | 0 | 0 (toàn bộ GPU) |
GPU H200 SXM5
| # | Label | Strategy | Số instance | Instance resource |
|---|---|---|---|---|
| 1 | all-1g.18gb | single | 7 | 1g.18gb |
| 2 | all-1g.35gb | single | 4 | 1g.35gb |
| 3 | all-2g.25gb | single | 3 | 2g.25gb |
| 4 | all-3g.71gb | single | 2 | 3g.71gb |
| 5 | all-4g.71gb | single | 1 | 4g.71gb |
| 6 | all-7g.141gb | single | 1 | 7g.141gb |
| 7 | all-balanced | mixed | 2 / 1 / 1 | 1g.18gb / 2g.35gb / 3g.71gb |
| 8 | none (không label) | none | 0 | 0 (toàn bộ GPU) |
Ví dụ: chọn strategy single với label all-1g.10gb sẽ chia card GPU H100 trên worker đó thành 7 MIG device, mỗi device có 1/7 resource logic của GPU vật lý và 10GB GPU RAM.
Thuật ngữ
| Thuật ngữ | Định nghĩa |
|---|---|
| K8s | Kubernetes |
| FKE | FPT Kubernetes Engine |
| D-FKE | Dedicated FPT Kubernetes Engine |
| M-FKE | Managed FPT Kubernetes Engine |
| Master Node | Node chứa control plane component |
| Worker nodes | Node dùng để chạy workload |
| Automatic scaling of nodes | Tự động scale worker node (tăng/giảm) |
| K8s cluster | Tập hợp các node (VM) được cấu hình thành 1 cluster Kubernetes |
| NFS persistent storage | Phân vùng persistent storage trên NFS |
| Pod | Đơn vị nhỏ nhất do Kubernetes quản lý — chứa 1 hoặc nhiều container |
| Pod network | Network/subnet dùng để cấp địa chỉ IP cho Pod |
| Service network | Network/subnet dùng để cấp địa chỉ IP cho service |