Tổng quan
GPU Container là nền tảng container được quản lý trên FPT AI Factory, cung cấp truy cập trực tiếp vào GPU NVIDIA H100. Bạn chọn số lượng GPU, chọn template sẵn có (hoặc dùng image container của bạn), khai báo các cổng cần thiết và hệ thống sẽ lo phần còn lại.
Use case
| Use case | Mô tả |
|---|---|
| Jupyter Notebook | Môi trường phát triển từ xa cho AI/Data Scientist, không cần phần cứng cục bộ |
| Inference | Inference model thông lượng cao với GPU, sử dụng các engine như vLLM, Ollama |
| Fine-tuning | Fine-tune model với GPU bằng PyTorch, CUDA, NVIDIA Container Toolkit |
| Code Server | VS Code trên trình duyệt với GPU để train, test và debug AI model từ xa |
Khái niệm chính
GPU Instance — Đơn vị tính toán của GPU Container. Mỗi instance là một bộ cố định gồm GPU H100, CPU, RAM và temporary disk. Bạn chọn kích thước khi tạo container; không thể thay đổi sau khi tạo.
Temporary disk — Bộ nhớ NVMe cục bộ tốc độ cao đi kèm với mỗi GPU instance. Dữ liệu trên temporary disk bị xóa khi container bị dừng hoặc xóa.
Persistent disk — Bộ nhớ block storage tùy chọn, có thể gắn khi tạo container. Dữ liệu được giữ nguyên qua các chu kỳ dừng/khởi động. Bạn đặt dung lượng (1–3.000 GB) và đường dẫn mount bên trong container.
Template — Image container được xây dựng sẵn bởi FPT. Bao gồm Jupyter Notebook, Code Server, Triton Inference Server và các biến thể vLLM. Bạn cũng có thể dùng bất kỳ image nào từ registry công khai hoặc riêng tư.
Network ports — Các cổng HTTP và TCP bạn mở từ container. Hệ thống cấp URL công khai cho mỗi cổng HTTP. Cổng TCP dùng cho SSH hoặc kết nối TCP trực tiếp.
Kích thước GPU instance
Tất cả instance dùng GPU NVIDIA H100 tại khu vực Hà Nội.
| Instance | GPU VRAM | CPU | RAM | Temp disk |
|---|---|---|---|---|
| 1×H100 | 80 GB | 15 nhân | 250 GB | 1 TB |
| 2×H100 | 160 GB | 30 nhân | 500 GB | 2 TB |
| 3×H100 | 240 GB | 45 nhân | 750 GB | 3 TB |
| 4×H100 | 320 GB | 60 nhân | 1.000 GB | 4 TB |
| 5×H100 | 400 GB | 75 nhân | 1.250 GB | 5 TB |
| 6×H100 | 480 GB | 90 nhân | 1.500 GB | 6 TB |
| 7×H100 | 560 GB | 105 nhân | 1.750 GB | 7 TB |
| 8×H100 | 640 GB | 120 nhân | 2.000 GB | 8 TB |