📄️ Tổng quan dịch vụ GPU trên Kubernetes FPT Cloud
FPT Cloud cung cấp Kubernetes sử dụng GPU NVIDIA có các tính năng chính sau:
📄️ Cài đặt và khởi tạo Cluster Kubernetes sử dụng GPU
FPT Cloud hỗ trợ các card sau:
📄️ Thay đổi Worker Group sử dụng GPU
Yêu cầu:
📄️ Triển khai ứng dụng sử dụng GPU trên Kubernetes
Kubernetes quản lý và sử dụng resource GPU tương tự như sử dụng resource CPU. Tùy vào cấu hình GPU lựa chọn cho Worker Group để khai báo resource GPU cho ứng dụng trên Kubernetes.
📄️ Hướng dẫn sử dụng GPU Telemetry
FPT Cloud sử dụng NVIDIA GPU Telemetry tích hợp với kube-prometheus-stack là bộ công cụ theo dõi và giám sát cho hệ thống sử dụng GPU trên Kubernetes. Bộ công cụ giám sát bao gồm collector, time-series database lưu trữ chỉ số (metric) và visualization (giao diện trực quan hóa). Bộ công cụ sử dụng các ứng dụng mã nguồn mở phổ biến là Prometheus và Grafana. Prometheus cũng bao gồm Alertmanager để tạo và quản lý các cảnh báo. Prometheus được triển khai cùng với kube-state-metrics và node_exporter để hiển thị các chỉ số mức cluster cho các đối tượng API Kubernetes và các chỉ số mức node, ví dụ như mức sử dụng GPU.
📄️ Hướng dẫn sử dụng Autoscaler với GPU
Autoscale mức Container
📄️ Hướng dẫn sử dụng các chế độ GPU sharing
Các chế độ GPU sharing cho phép GPU vật lý được chia sẻ bởi nhiều container nhằm mục đích tối ưu hóa mức độ sử dụng GPU. Sau đây là các chiến lược GPU sharing được chúng tôi hỗ trợ:
📄️ Tăng thêm Worker Group sử dụng GPU
Yêu cầu:
📄️ Hướng dẫn cài đặt GPU Driver trên Kubernetes
Người dùng có thể tự cài đặt GPU Driver mong muốn trên cụm FPT Kubernetes Engine tích hợp GPU.
📄️ Hướng dẫn cấu hình Auto Scale sử dụng GPU Custom Metric
Kubernetes hỗ trợ tự động auto scale dựa trên các custom metric như GPU metric bằng cách kết hợp với Prometheus. Bài viết này giới thiệu cách cấu hình Auto Scale cho các ứng dụng sử dụng GPU chạy trên nền tảng FPT Kubernetes Engine.
📄️ FPT Kubernetes Engine với GPU
FPT Cloud cung cấp Kubernetes sử dụng GPU NVIDIA có các tính năng chính sau:
📄️ Hướng dẫn cấu hình Auto Scale sử dụng KEDA và Prometheus
Yêu cầu
📄️ Hướng dẫn sử dụng DRA cho GPU
DRA (Dynamic Resource Allocation) là cơ chế quản lý tài nguyên thiết bị trong Kubernetes, được phát hành ở trạng thái General Availability (GA) từ Kubernetes v1.34. DRA cho phép workload yêu cầu và sử dụng tài nguyên phần cứng như GPU theo cách linh hoạt hơn so với cơ chế Device Plugin truyền thống.
📄️ GPU Software trên Kubernetes dành cho GPU NVIDIA H100/H200
Tổng quan