日本 Region での HPS の使い方（DDN）
初期セットアップ
File Storage - High Performance (HPS) の利用を開始するには、FPT サポートチームにお問い合わせください。必要な情報を提供すると、アカウントが有効化され、quota が割り当てられます。
必要な情報
| # | 項目 | 単位 | 必須 | 説明 |
|---|---|---|---|---|
| 1 | Tenant/Region | — | はい | HPS サービスを有効にする Tenant と Region。 |
| 2 | Storage Quota | GB | はい | 使用予定の storage 容量。 |
| 3 | Subnet | Subnet CIDR | はい | FPT サポートが構成できるよう、アクセスが必要な subnet の一覧を提供します。 |
| 4 | Performance | IOPS | いいえ | 希望する IOPS 性能（未指定の場合は既定の上限が適用されます）。 |
| 5 | Bandwidth | Gbps | いいえ | 希望する帯域幅（未指定の場合は既定の上限が適用されます）。 |
Metal Cloud（Bare Metal GPU サーバー）で使う
ファイルストレージシステムに接続するためのエンドポイントは subnet ごとに異なります。設定ミスを避けるため、マウント操作の前に必ずエンドポイントと構成の詳細を確認してください。
FPT Image を使う場合
FPT 提供の image を使用する場合、DDN クライアントはプリインストールされています。次の手順で File Storage をマウントします。
ステップ 1: Mount Point を作成する
mkdir /mnt/hps
ステップ 2: ファイルシステムを手動でマウントする
mount -t lustre 100.69.252.1@o2ib,100.69.252.2@o2ib:100.69.252.3@o2ib,100.69.252.4@o2ib:100.69.252.5@o2ib,100.69.252.6@o2ib:100.69.252.7@o2ib,100.69.252.8@o2ib:/scratch /mnt/hps
ステップ 3: 自動マウントの構成
reboot 後に Lustre ファイルシステムを自動マウントするには、次のエントリを /etc/fstab に追加します。
## LustreFS ##
100.69.252.1@o2ib,100.69.252.2@o2ib:100.69.252.3@o2ib,100.69.252.4@o2ib:100.69.252.5@o2ib,100.69.252.6@o2ib:100.69.252.7@o2ib,100.69.252.8@o2ib:/scratch /mnt/hps lustre flock,defaults 0 0
説明:
- 100.69.252.1〜100.69.252.8 は Lustre サーバーの固定エンドポイントアドレスです。
/scratchは Lustre サーバー上のファイルシステムパスです。 /mnt/hpsはクライアント側の mount point です（ステップ 1 で作成）。
mount -a を実行して、マウント構成にエラーがないことを確認してください。
ステップ 4: 確認する
df -h -t lustre
想定される出力では、ファイルシステムが /mnt/hps にマウントされ、サイズは約 11T と表示されます。
カスタム image（Ubuntu）を使う場合
Ubuntu を実行するカスタム image を使用する場合は、次の手順で必要なパッケージを手動でビルドする必要があります。
ステップ 1: Lustre Client をビルドする
この手順では、お使いのカーネルバージョンに対応するビルド済みパッケージがない場合に、ソースコードから Lustre Client パッケージをビルドします。対応するパッケージがすでにシステムに存在する場合、または同じカーネルバージョン向けに以前ビルド済みの場合は、この手順を省略できます。
wget https://s3-sgn10.fptcloud.com/file-storage-resource/exa-client-6.3.4.tar.gz
tar xzvf exa-client-6.3.4.tar.gz
cd exa-client
./exa_client_deploy.py
Ubuntu のカーネルバージョンが 5.15.0-130-generic の場合は、ビルドを省略してビルド済みパッケージを利用できます。
wget https://s3-sgn10.fptcloud.com/package-pub/lustre-dev_2.14.0-ddn184-1_amd64.deb
wget https://s3-sgn10.fptcloud.com/package-pub/lustre-client-modules-5.15.0-130-generic_2.14.0-ddn184-1_amd64.deb
wget https://s3-sgn10.fptcloud.com/package-pub/lustre-client-utils_2.14.0-ddn184-1_amd64.deb
ステップ 2: Lustre Client をインストールする
ステップ 1 でビルドした、または上記でダウンロードした .deb パッケージを使って Lustre Client をインストールします。対応する .deb パッケージがある場合のみ実行し、ない場合はステップ 1 に戻ってください。カーネルバージョンの不一致はエラーの原因となり、再ビルドが必要になることがあります。
sudo dpkg -i lustre-dev_2.14.0-ddn184-1_amd64.deb \
lustre-client-modules-5.15.0-130-generic_2.14.0-ddn184-1_amd64.deb \
lustre-client-utils_2.14.0-ddn184-1_amd64.deb
ステップ 3: Lustre Client を構成する
Lustre Client の性能を最適化するため、次の構成を適用します。
/etc/modprobe.d/lustre.conf を編集します。
options lnet networks=o2ib(bond0)
options ko2iblnd peer_credits=32 peer_credits_hiw=16 concurrent_sends=64
/etc/lustre_client を編集します。
IF1=bond0
IF2=none
IF3=none
IF4=none
IF5=none
IF6=none
IF7=none
IF8=none
ステップ 4: OS に mountpoint を作成する
mkdir /mnt/hps
ステップ 5: ファイルシステムを手動でマウントする
mount -t lustre 100.69.252.1@o2ib,100.69.252.2@o2ib:100.69.252.3@o2ib,100.69.252.4@o2ib:100.69.252.5@o2ib,100.69.252.6@o2ib:100.69.252.7@o2ib,100.69.252.8@o2ib:/scratch /mnt/hps
ステップ 6: 自動マウントの構成
reboot 後に自動マウントするには、次のエントリを /etc/fstab に追加します。
##LustreFS##
100.69.252.1@o2ib,100.69.252.2@o2ib:100.69.252.3@o2ib,100.69.252.4@o2ib:100.69.252.5@o2ib,100.69.252.6@o2ib:100.69.252.7@o2ib,100.69.252.8@o2ib:/scratch /mnt/hps lustre flock,defaults 0 0
100.69.252.1〜100.69.252.8 は Lustre サーバーの固定エンドポイント、/scratch はサーバー上のファイルシステムパスです。/mnt/hps はステップ 4 で作成したクライアント側の mount point です。
mount -a を実行して、マウント構成にエラーがないことを確認してください。
ステップ 7: 確認する
df -h -t lustre
想定される出力では、ファイルシステムが /mnt/hps にマウントされ、サイズは約 11T と表示されます。
GPU Virtual Machine で使う
ステップ 1: ネットワークインターフェースを attach して IP アドレスを構成する
H200 用の HPS Storage に接続するには、Network > Subnets にある作成済みの subnet vm-gpu-hps-net-xxx を使用します。
Network Interface を attach する手順は次のとおりです。
- Instance Management に移動します
- 対象の VM GPU を選択します
- Network Interface タブを開きます
- Create NIC をクリックします
vm-gpu-hps-net-xxxという名前のネットワークを選択します
インターフェースを attach した後、そのインターフェースで DHCP が有効でない場合はサーバーにアクセスしてネットワーク設定を手動で構成します。
ステップ 2: Lustre Client をビルドしてインストールする
この手順では、ソースコードから Lustre Client パッケージをビルドしてインストールします。
wget https://s3-sgn10.fptcloud.com/file-storage-resource/exa-client-6.3.4.tar.gz
tar xzvf exa-client-6.3.4.tar.gz
cd exa-client
./exa_client_deploy.py
ステップ 3: Lustre Client を構成する
Lustre Client の性能を最適化するため、次の構成を適用します。
/etc/modprobe.d/lustre.conf を編集します。
options lnet networks=tcp(eth1)
options ko2iblnd peer_credits=32 peer_credits_hiw=16 concurrent_sends=64
/etc/lustre_client を編集します。
IF1=eth1
IF2=none
IF3=none
IF4=none
IF5=none
IF6=none
IF7=none
IF8=none
ステップ 4: OS に mountpoint を作成する
mkdir /mnt/hps
ステップ 5: ファイルシステムを手動でマウントする
mount -t lustre 100.69.252.1@tcp,100.69.252.2@tcp:100.69.252.3@tcp,100.69.252.4@tcp:100.69.252.5@tcp,100.69.252.6@tcp:100.69.252.7@tcp,100.69.252.8@tcp:/scratch /mnt/hps
ステップ 6: 自動マウントの構成
reboot 後に自動マウントするには、次のエントリを /etc/fstab に追加します。
##LustreFS##
100.69.252.1@tcp,100.69.252.2@tcp:100.69.252.3@tcp,100.69.252.4@tcp:100.69.252.5@tcp,100.69.252.6@tcp:100.69.252.7@tcp,100.69.252.8@tcp:/scratch /mnt/hps lustre flock,defaults 0 0
100.69.252.1〜100.69.252.8 は Lustre サーバーの固定エンドポイント、/scratch はサーバー上のファイルシステムパスです。/mnt/hps はステップ 4 で作成したクライアント側の mount point です。
mount -a を実行して、マウント構成にエラーがないことを確認してください。
ステップ 7: 確認する
df -h -t lustre
想定される出力では、ファイルシステムが /mnt/hps にマウントされ、サイズは約 11T と表示されます。