Dùng HPS ở Region Nhật Bản (DDN)
Thiết lập ban đầu
Để bắt đầu dùng File Storage - High Performance (HPS), hãy liên hệ đội hỗ trợ FPT. Sau khi bạn cung cấp thông tin cần thiết, tài khoản sẽ được kích hoạt và quota được cấp.
Thông tin cần cung cấp
| # | Hạng mục | Đơn vị | Bắt buộc | Mô tả |
|---|---|---|---|---|
| 1 | Tenant/Region | — | Có | Tenant và Region bạn muốn bật dịch vụ HPS. |
| 2 | Storage Quota | GB | Có | Dung lượng storage bạn dự kiến dùng. |
| 3 | Subnet | Subnet CIDR | Có | Cung cấp danh sách subnet cần truy cập để bộ phận hỗ trợ FPT cấu hình. |
| 4 | Performance | IOPS | Không | Mức IOPS mong muốn (áp giới hạn mặc định nếu không cung cấp). |
| 5 | Bandwidth | Gbps | Không | Băng thông mong muốn (áp giới hạn mặc định nếu không cung cấp). |
Dùng với Metal Cloud (Bare Metal GPU server)
Mỗi subnet có endpoint riêng để kết nối tới hệ thống file storage. Luôn kiểm tra endpoint và thông tin cấu hình trước khi mount để tránh lỗi thiết lập.
Dùng FPT Image
Nếu dùng image do FPT cung cấp, DDN client đã được cài sẵn. Làm theo các bước sau để mount File Storage.
Bước 1: Tạo Mount Point
mkdir /mnt/hps
Bước 2: Mount File System thủ công
mount -t lustre 100.69.252.1@o2ib,100.69.252.2@o2ib:100.69.252.3@o2ib,100.69.252.4@o2ib:100.69.252.5@o2ib,100.69.252.6@o2ib:100.69.252.7@o2ib,100.69.252.8@o2ib:/scratch /mnt/hps
Bước 3: Cấu hình Auto-Mount
Để tự mount Lustre file system sau khi reboot, thêm dòng sau vào /etc/fstab:
## LustreFS ##
100.69.252.1@o2ib,100.69.252.2@o2ib:100.69.252.3@o2ib,100.69.252.4@o2ib:100.69.252.5@o2ib,100.69.252.6@o2ib:100.69.252.7@o2ib,100.69.252.8@o2ib:/scratch /mnt/hps lustre flock,defaults 0 0
Giải thích:
- Các địa chỉ 100.69.252.1–100.69.252.8 là endpoint cố định của các Lustre server.
/scratchlà đường dẫn filesystem trên Lustre server. /mnt/hpslà mount point trên client (đã tạo ở Bước 1).
Chạy mount -a để kiểm tra cấu hình mount không có lỗi.
Bước 4: Kiểm tra
df -h -t lustre
Kết quả mong đợi hiển thị filesystem đã mount tại /mnt/hps với dung lượng khoảng 11T.
Dùng Custom Image (Ubuntu)
Nếu dùng custom image chạy Ubuntu, bạn phải tự build các gói cần thiết theo các bước sau.
Bước 1: Build Lustre Client
Bước này build gói Lustre Client từ mã nguồn khi chưa có gói dựng sẵn tương thích với phiên bản kernel của bạn. Bỏ qua bước này nếu hệ thống đã có gói tương thích, hoặc bạn đã build gói cho cùng phiên bản kernel trước đó.
wget https://s3-sgn10.fptcloud.com/file-storage-resource/exa-client-6.3.4.tar.gz
tar xzvf exa-client-6.3.4.tar.gz
cd exa-client
./exa_client_deploy.py
Nếu Ubuntu của bạn chạy kernel 5.15.0-130-generic, bạn bỏ qua được bước build và dùng gói dựng sẵn:
wget https://s3-sgn10.fptcloud.com/package-pub/lustre-dev_2.14.0-ddn184-1_amd64.deb
wget https://s3-sgn10.fptcloud.com/package-pub/lustre-client-modules-5.15.0-130-generic_2.14.0-ddn184-1_amd64.deb
wget https://s3-sgn10.fptcloud.com/package-pub/lustre-client-utils_2.14.0-ddn184-1_amd64.deb
Bước 2: Cài Lustre Client
Cài Lustre Client bằng các gói .deb đã build ở Bước 1 hoặc tải về ở trên. Chỉ làm bước này nếu đã có gói .deb khớp; nếu chưa thì quay lại Bước 1. Lệch phiên bản kernel có thể gây lỗi và buộc phải build lại.
sudo dpkg -i lustre-dev_2.14.0-ddn184-1_amd64.deb \
lustre-client-modules-5.15.0-130-generic_2.14.0-ddn184-1_amd64.deb \
lustre-client-utils_2.14.0-ddn184-1_amd64.deb
Bước 3: Cấu hình Lustre Client
Áp dụng các thiết lập sau để tối ưu hiệu năng Lustre Client.
Sửa /etc/modprobe.d/lustre.conf:
options lnet networks=o2ib(bond0)
options ko2iblnd peer_credits=32 peer_credits_hiw=16 concurrent_sends=64
Sửa /etc/lustre_client:
IF1=bond0
IF2=none
IF3=none
IF4=none
IF5=none
IF6=none
IF7=none
IF8=none
Bước 4: Tạo mountpoint trong OS
mkdir /mnt/hps
Bước 5: Mount File System thủ công
mount -t lustre 100.69.252.1@o2ib,100.69.252.2@o2ib:100.69.252.3@o2ib,100.69.252.4@o2ib:100.69.252.5@o2ib,100.69.252.6@o2ib:100.69.252.7@o2ib,100.69.252.8@o2ib:/scratch /mnt/hps
Bước 6: Cấu hình Auto-Mount
Để tự mount sau khi reboot, thêm dòng sau vào /etc/fstab:
##LustreFS##
100.69.252.1@o2ib,100.69.252.2@o2ib:100.69.252.3@o2ib,100.69.252.4@o2ib:100.69.252.5@o2ib,100.69.252.6@o2ib:100.69.252.7@o2ib,100.69.252.8@o2ib:/scratch /mnt/hps lustre flock,defaults 0 0
Các địa chỉ 100.69.252.1–100.69.252.8 là endpoint cố định của Lustre server; /scratch là đường dẫn filesystem trên server. /mnt/hps là mount point trên client từ Bước 4.
Chạy mount -a để kiểm tra cấu hình mount không có lỗi.
Bước 7: Kiểm tra
df -h -t lustre
Kết quả mong đợi hiển thị filesystem đã mount tại /mnt/hps với dung lượng khoảng 11T.
Dùng với GPU Virtual Machine
Bước 1: Attach Network Interface và cấu hình địa chỉ IP
Để kết nối tới HPS Storage cho H200, dùng subnet vm-gpu-hps-net-xxx đã tạo sẵn, nằm trong Network > Subnets.
Cách attach Network Interface:
- Vào Instance Management
- Chọn VM GPU cần dùng
- Mở tab Network Interface
- Nhấn Create NIC
- Chọn network tên
vm-gpu-hps-net-xxx
Sau khi attach interface, truy cập server và cấu hình thiết lập mạng thủ công nếu interface đó chưa bật DHCP.
Bước 2: Build và cài Lustre Client
Bước này build và cài gói Lustre Client từ mã nguồn.
wget https://s3-sgn10.fptcloud.com/file-storage-resource/exa-client-6.3.4.tar.gz
tar xzvf exa-client-6.3.4.tar.gz
cd exa-client
./exa_client_deploy.py
Bước 3: Cấu hình Lustre Client
Áp dụng các thiết lập sau để tối ưu hiệu năng Lustre Client.
Sửa /etc/modprobe.d/lustre.conf:
options lnet networks=tcp(eth1)
options ko2iblnd peer_credits=32 peer_credits_hiw=16 concurrent_sends=64
Sửa /etc/lustre_client:
IF1=eth1
IF2=none
IF3=none
IF4=none
IF5=none
IF6=none
IF7=none
IF8=none
Bước 4: Tạo mountpoint trong OS
mkdir /mnt/hps
Bước 5: Mount File System thủ công
mount -t lustre 100.69.252.1@tcp,100.69.252.2@tcp:100.69.252.3@tcp,100.69.252.4@tcp:100.69.252.5@tcp,100.69.252.6@tcp:100.69.252.7@tcp,100.69.252.8@tcp:/scratch /mnt/hps
Bước 6: Cấu hình Auto-Mount
Để tự mount sau khi reboot, thêm dòng sau vào /etc/fstab:
##LustreFS##
100.69.252.1@tcp,100.69.252.2@tcp:100.69.252.3@tcp,100.69.252.4@tcp:100.69.252.5@tcp,100.69.252.6@tcp:100.69.252.7@tcp,100.69.252.8@tcp:/scratch /mnt/hps lustre flock,defaults 0 0
Các địa chỉ 100.69.252.1–100.69.252.8 là endpoint cố định của Lustre server; /scratch là đường dẫn filesystem trên server. /mnt/hps là mount point trên client từ Bước 4.
Chạy mount -a để kiểm tra cấu hình mount không có lỗi.
Bước 7: Kiểm tra
df -h -t lustre
Kết quả mong đợi hiển thị filesystem đã mount tại /mnt/hps với dung lượng khoảng 11T.