OS Images
FPT public image do FPT dựng sẵn để bạn bắt đầu nhanh trên mọi GPU VM khả dụng. Mỗi image dùng Ubuntu làm hệ điều hành và đi kèm các thành phần cần thiết cho workload AI.
Phiên bản của các dependency đã cài được tối ưu cho tính tương thích, nên có thể không phải bản mới nhất.
| Tên image | Mô tả | Dependency |
|---|---|---|
| Ubuntu 22.04 | Ubuntu phiên bản 22.04 và các driver NVIDIA GPU thiết yếu. | NVIDIA Driver 560.35.03 NVIDIA CUDA Toolkit 12.6.85 NVIDIA Fabric Manager (NVSwitch Driver) 560.35 NVIDIA Datacenter GPU Manager 3.3.9 |
| Ubuntu 24.04 | Ubuntu phiên bản 24.04 và các driver NVIDIA GPU thiết yếu. | NVIDIA Driver 575 NVIDIA CUDA Toolkit 12.9 NVIDIA Container Toolkit 1.18.2 |
| Ubuntu 24.04 (8x GPUs) | Ubuntu phiên bản 24.04 và phần mềm thiết yếu cho workload AI/ML. Có NVLink interconnect trên các flavor 8x GPU. | NVIDIA Driver 575 NVIDIA CUDA Toolkit 12.9 NVIDIA Container Toolkit 1.18.2 NVIDIA Fabric Manager 575 |
| Ubuntu 24.04 - Inference Optimized | Ubuntu phiên bản 24.04. Triển khai mọi model nhanh hơn với hiệu năng mức production. | NVIDIA Driver 575.51.03 NVIDIA CUDA Toolkit 12.9 NVIDIA Container Toolkit 1.18.2 Docker CE vLLM 0.10.2 |
| Ubuntu 24.04 - Inference Optimized (8x GPUs) | Ubuntu phiên bản 24.04. Triển khai mọi model nhanh hơn với hiệu năng mức production. Có NVLink interconnect trên các flavor 8x GPU. | NVIDIA Driver 575 NVIDIA CUDA Toolkit 12.9 NVIDIA Container Toolkit 1.18.2 NVIDIA Fabric Manager 575 |
| Ubuntu 24.04 v1.1 | Ubuntu 24.04, tối ưu cho GPU NVIDIA Blackwell và dựng sẵn để tăng tốc AI, deep learning ngay từ đầu. | NVIDIA Driver 595 NVIDIA CUDA Compute library NVIDIA DKMS kernel module NVIDIA GPU kernel driver CUDA Toolkit 13.1 |
| Ubuntu 24.04 Inference Optimized v1.1 | Ubuntu phiên bản 24.04, kèm inference engine vLLM cho việc serve model thông lượng cao ở mức production. | NVIDIA Driver 595 NVIDIA CUDA Compute library NVIDIA DKMS kernel module NVIDIA GPU kernel driver CUDA Toolkit 13.1 vLLM v0.20.2 |
Tiếp theo
- Tạo GPU VM — chọn OS image khi cấu hình VM.