Chuyển tới nội dung chính

Create a cluster

Tạo cluster sẽ khởi tạo control plane và Worker Group đầu tiên trong cùng 1 luồng, nên bạn đi từ tài khoản trắng tới GPU cluster chạy được mà không cần bước hạ tầng riêng nào khác.

  1. Mở form tạo cluster.

    Vào AI infrastructure → Managed GPU cluster, rồi chọn Create managed GPU cluster.

  2. Điền Basics information.

    Bước Basics information: Name, Network, Version, Cluster endpoint access, SSO / OIDC

    • Name: tên cluster duy nhất, chỉ gồm chữ/số/dấu gạch ngang.
    • Network: subnet bạn đã tạo cho worker bare metal GPU (xem Initial setup).
    • Version: phiên bản Kubernetes — mặc định là bản mới nhất được hỗ trợ.
    • Cluster endpoint access: Public, Public & private, hoặc Private — cùng logic đánh đổi như cluster FPT Kubernetes Engine khác. Allow CIDR giới hạn dải CIDR nào được truy cập endpoint (để trống là cho phép mọi nơi).
    • SSO / OIDC (beta, tùy chọn): kết nối cluster với identity provider ngay lúc tạo thay vì sau đó — xem Configure OIDC authentication để biết chi tiết từng field.

    Basics information (tiếp theo): Load balancer service, Nodes credentials, GPU Information, High performance storage integration

    • Internal LB subnet: subnet Load Balancer bạn đã tạo ở Initial setup.
    • SSH public key: key dùng để SSH vào worker node — chọn key có sẵn hoặc chọn Manage SSH key để thêm mới.
    • GPU Software: cài GPU management software cho toàn cluster. Các lựa chọn: GPU Operator, Network Operator, Slurm Operator, và vGPU Scheduler. Chọn 1 software sẽ tự điền Software version mặc định, và với GPU Operator, thêm cả Cluster mig strategy.

    Mục GPU Information đã điền: GPU Software = GPU Operator, Software version, Cluster mig strategy

    cảnh báo

    Nếu không cấu hình GPU software ở đây, bạn phải tự cài GPU Operator sau đó để container dùng được GPU resource, và Network Operator để dùng GPUDirect RDMA qua InfiniBand.

    • High performance storage integration: chỉ khả dụng nếu FPT High Performance Storage đã được kích hoạt cho tài khoản của bạn.

  3. Cấu hình Nodes pool.

    Bước Nodes pool: Group name, Runtime, Number of server, Flavor

    Mỗi cluster cần ít nhất 1 Worker Group — nhóm đầu tiên là nhóm Base, không thể xóa. Thêm nhóm khác sau bằng Add worker group cho các workload cần sizing hoặc cấu hình GPU khác.

    • Group name: chữ thường, số, dấu gạch ngang, tối đa 15 ký tự.
    • Runtime: hiện chỉ hỗ trợ Containerd.
    • Number of server: số lượng server bare metal GPU cấp cho nhóm này.
    • Flavor: model GPU server — hiện có Metal Cloud GPU H100 hoặc Metal Cloud GPU B300. Flavor khả dụng phụ thuộc vào capacity thực tế tại region; nếu 1 flavor báo "has no more usable space", chọn flavor/region khác, hoặc liên hệ support.

    Các field GPU Sharing đã mở rộng: Worker mig strategy, MIG Profile, Sharing client

    Trong mục GPU Sharing, chọn cách chia sẻ GPU của nhóm này giữa các workload:

    • Worker mig strategy: None (1 Pod dùng trọn 1 GPU vật lý) hoặc Single (chia GPU thành các instance kích thước cố định bằng MIG — Multi-Instance GPU).
    • MIG Profile (khi Worker mig strategy là Single): kích thước chia — MIG-single-7x1g.10gb, MIG-single-4x1g.20gb, MIG-single-3x2g.20gb, MIG-single-2x3g.40gb, MIG-single-1x4g.40gb, hoặc MIG-single-1x7g.80gb. Profile khả dụng phụ thuộc vào flavor đã chọn.
    • Sharing client: None, MPS, hoặc Time Slice — cách chia sẻ 1 GPU cho nhiều Pod không dùng MIG. Lựa chọn khả dụng phụ thuộc vào Worker mig strategy đã chọn.

    Trong mục GPU Driver:

    • Installation type: Pre-Install — FPT Cloud cài sẵn NVIDIA driver trên server.
    • Driver version: cặp driver/CUDA được hỗ trợ, ví dụ 550.90.07 - CUDA version: 12.4.

    Có thể thêm Labels (cặp key/value áp cho mọi worker node trong nhóm) — hữu ích khi muốn nhắm workload vào đúng Worker Group bằng node selector.

  4. Xem lại cấu hình Advanced.

    Bước này liên quan tới networking toàn cluster: CIDR của Pod network và Service network, cùng Network Node Prefix (quyết định mỗi node chạy được bao nhiêu Pod). CNI cài đặt cố định là Calico. Chỉ đổi các giá trị này nếu bạn chắc chắn cần dải khác mặc định — mặc định phù hợp với đa số cluster.

  5. Chọn Review & create, kiểm tra lại bảng tóm tắt, rồi chọn Create managed GPU cluster.

    Hệ thống kiểm tra quota bare metal GPU có đủ cho yêu cầu hay không trước khi tạo cluster. Sau khi submit, tìm cluster của bạn trong danh sách ở AI infrastructure → Managed GPU cluster, hiện Name, Version, Worker group, Status, Created at, và Actions.

Vấn đề thường gặp​

Vấn đềNguyên nhân / cách xử lý
1 Flavor báo "has no more usable space"Capacity GPU server thực tế đã hết cho flavor đó tại region này — thử flavor khác, region khác, hoặc liên hệ support kiểm tra capacity.
"Worker mig strategy is required" / "Sharing client is required"Cả 2 field đều bắt buộc dù đang hiện "Select..." — chọn 1 giá trị (None nếu không cần GPU sharing) trước khi qua bước tiếp theo.
MIG Profile hiện "No options"Flavor đã chọn không có MIG profile cho Worker mig strategy hiện tại — đổi flavor, hoặc đặt Worker mig strategy về None.

Bước tiếp theo​