Managed K8s with GPU VM の概要
Managed K8s with GPU VM は、専用の bare metal を用意することなく、GPU を使う worker node を持つ Kubernetes クラスターをオンデマンドで提供します。FPT Cloud が GPU を使う virtual machine をプロビジョニングし、control plane を管理し、次の機能を備えています。
- 柔軟な GPU 構成 — 複数の GPU タイプと任意の GPU メモリサイズを、Worker Group ごとに設定可能。
- NVIDIA GPU Operator による GPU リソースの自動管理・自動プロビジョニング。
- NVIDIA DCGM による GPU の可視化とモニタリング。
- GPU 需要の変化に応じた Autoscaler による node/container の自動スケーリング。
- Multi-Instance GPU(MIG)機構による GPU 共有 — GPU リソースとコストを最適化。
Hanoi 2 および Japan region では、現在 NVIDIA H100・H200 GPU を使う Kubernetes をサポートしています。
このサービスを初めて使う場合は、クラスターを作成する前に Initial setup のタスクを完了してください。
GPU Operator の仕組み
FPT Cloud は NVIDIA GPU Operator を使い、Kubernetes クラスターが GPU を使うために必要なソフトウェアコンポーネントを自動的に管理します — これにより、CPU リソースと同じ感覚で GPU リソースを扱えます。Operator が導入・管理するのは次のコンポーネントです。
- NVIDIA Drivers(CUDA、MIG 等)
- NVIDIA Device Plugin
- NVIDIA Container Toolkit
- NVIDIA GPU Feature Discovery
- NVIDIA Data Center GPU Manager(モニタリング)
MIG 構成リファレンス
Multi-Instance GPU(MIG)は、物理 GPU 1 枚を複数の小さく分離されたインスタンスに分割し、Pod 間で共有できるようにします。
MIG 構成は worker に接続されたすべてのカードに適用されます。同じクラスター内のすべての worker group は、同じ MIG strategy タイプ(single/mixed/none)を使う必要があります。
GPU H100 SXM5
| # | Label | Strategy | インスタンス数 | Instance resource |
|---|---|---|---|---|
| 1 | all-1g.10gb | single | 7 | 1g.10gb |
| 2 | all-1g.20gb | single | 4 | 1g.20gb |
| 3 | all-2g.20gb | single | 3 | 2g.20gb |
| 4 | all-3g.40gb | single | 2 | 3g.40gb |
| 5 | all-4g.40gb | single | 1 | 4g.40gb |
| 6 | all-7g.80gb | single | 1 | 7g.80gb |
| 7 | all-balanced | mixed | 2 / 1 / 1 | 1g.10gb / 2g.20gb / 3g.40gb |
| 8 | none(label なし) | none | 0 | 0(GPU 全体) |
GPU H200 SXM5
| # | Label | Strategy | インスタンス数 | Instance resource |
|---|---|---|---|---|
| 1 | all-1g.18gb | single | 7 | 1g.18gb |
| 2 | all-1g.35gb | single | 4 | 1g.35gb |
| 3 | all-2g.25gb | single | 3 | 2g.25gb |
| 4 | all-3g.71gb | single | 2 | 3g.71gb |
| 5 | all-4g.71gb | single | 1 | 4g.71gb |
| 6 | all-7g.141gb | single | 1 | 7g.141gb |
| 7 | all-balanced | mixed | 2 / 1 / 1 | 1g.18gb / 2g.35gb / 3g.71gb |
| 8 | none(label なし) | none | 0 | 0(GPU 全体) |
例えば、single strategy で label all-1g.10gb を選ぶと、その worker の H100 GPU カードは 7 個の MIG デバイスに分割され、それぞれが物理 GPU の論理リソースの 1/7 と 10GB の GPU RAM を持ちます。
用語
| 用語 | 定義 |
|---|---|
| K8s | Kubernetes |
| FKE | FPT Kubernetes Engine |
| D-FKE | Dedicated FPT Kubernetes Engine |
| M-FKE | Managed FPT Kubernetes Engine |
| Master Node | control plane コンポーネントを含む node |
| Worker nodes | workload を実行するための node |
| Automatic scaling of nodes | worker node の自動スケーリング(増加/減少) |
| K8s cluster | Kubernetes クラスターとして構成された node(VM)の集合 |
| NFS persistent storage | NFS 上の persistent storage パーティション |
| Pod | Kubernetes が管理する最小単位 — 1 つ以上の container を含む |
| Pod network | Pod に IP アドレスを割り当てるための network/subnet |
| Service network | service に IP アドレスを割り当てるための network/subnet |