Tổng quan GPU Cluster

GPU Cluster cung cấp cluster Kubernetes có worker node dùng GPU, giúp bạn chạy training, inference AI/ML và các workload tăng tốc bằng GPU khác mà không cần tự vận hành control plane. FPT Cloud quản lý control plane; bạn quản lý Worker Node và những gì chạy trên đó.

Có 2 lựa chọn hạ tầng worker:

• Managed K8s with Metal Cloud — worker node chạy trên server GPU bare metal riêng (hiện là bản đang hiển thị trên Portal với tên Managed GPU cluster, dưới mục AI infrastructure).
• Managed K8s with GPU VM — worker node chạy trên virtual machine dùng GPU.

Cả 2 lựa chọn đều tích hợp GPU Operator (quản lý driver và device), Network Operator (GPUDirect RDMA), Slurm Operator, và vGPU Scheduler, cùng hỗ trợ autoscaling ở cấp cluster/worker.

Xem FAQ để biết các câu hỏi thường gặp về region, cấu hình cluster, khả năng tương thích, và cơ chế scale.