Chuyển tới nội dung chính

FPT Kubernetes Engine với GPU14

Tài liệu hướng dẫn FPT Kubernetes Engine với GPU — bao gồm Cài đặt và khởi tạo Cluster Kubernetes sử dụng GPU, Hướng dẫn cài đặt GPU Driver trên Kubernetes, Hướng dẫn cấu hình Auto Scale sử dụng GPU Custom Metric và Hướng dẫn cấu hình Auto Scale sử dụng KEDA và Prometheus, và nhiều mục khác.

Tổng quan dịch vụ GPU trên Kubernetes FPT CloudFPT Cloud cung cấp Kubernetes sử dụng GPU NVIDIA có các tính năng chính sau:Cài đặt và khởi tạo Cluster Kubernetes sử dụng GPUFPT Cloud hỗ trợ các card sau:Thay đổi Worker Group sử dụng GPUYêu cầu:Triển khai ứng dụng sử dụng GPU trên KubernetesKubernetes quản lý và sử dụng resource GPU tương tự như sử dụng resource CPU. Tùy vào cấu hình GPU lựa chọn cho Worker Group để khai báo resource GPU cho ứng dụng trên Kubernetes.Hướng dẫn sử dụng GPU TelemetryFPT Cloud sử dụng NVIDIA GPU Telemetry tích hợp với kube-prometheus-stack là bộ công cụ theo dõi và giám sát cho hệ thống sử dụng GPU trên Kubernetes. Bộ công cụ giám sát bao gồm collector, time-series database lưu trữ chỉ số (metric) và visualization (giao diện trực quan hóa). Bộ công cụ sử dụng các ứng dụng mã nguồn mở phổ biến là Prometheus và Grafana. Prometheus cũng bao gồm Alertmanager để tạo và quản lý các cảnh báo. Prometheus được triển khai cùng với kube-state-metrics và node_exporter để hiển thị các chỉ số mức cluster cho các đối tượng API Kubernetes và các chỉ số mức node, ví dụ như mức sử dụng GPU.Hướng dẫn sử dụng Autoscaler với GPUAutoscale mức ContainerHướng dẫn sử dụng các chế độ GPU sharingCác chế độ GPU sharing cho phép GPU vật lý được chia sẻ bởi nhiều container nhằm mục đích tối ưu hóa mức độ sử dụng GPU. Sau đây là các chiến lược GPU sharing được chúng tôi hỗ trợ:Tăng thêm Worker Group sử dụng GPUYêu cầu:Hướng dẫn cài đặt GPU Driver trên KubernetesNgười dùng có thể tự cài đặt GPU Driver mong muốn trên cụm FPT Kubernetes Engine tích hợp GPU.Hướng dẫn cấu hình Auto Scale sử dụng GPU Custom MetricKubernetes hỗ trợ tự động auto scale dựa trên các custom metric như GPU metric bằng cách kết hợp với Prometheus. Bài viết này giới thiệu cách cấu hình Auto Scale cho các ứng dụng sử dụng GPU chạy trên nền tảng FPT Kubernetes Engine.FPT Kubernetes Engine với GPUFPT Cloud cung cấp Kubernetes sử dụng GPU NVIDIA có các tính năng chính sau:Hướng dẫn cấu hình Auto Scale sử dụng KEDA và PrometheusYêu cầuHướng dẫn sử dụng DRA cho GPUDRA (Dynamic Resource Allocation) là cơ chế quản lý tài nguyên thiết bị trong Kubernetes, được phát hành ở trạng thái General Availability (GA) từ Kubernetes v1.34. DRA cho phép workload yêu cầu và sử dụng tài nguyên phần cứng như GPU theo cách linh hoạt hơn so với cơ chế Device Plugin truyền thống.GPU Software trên Kubernetes dành cho GPU NVIDIA H100/H200Tổng quan