概要
GPU ContainerはFPT AI Factoryのマネージドコンテナプラットフォームで、NVIDIA H100 GPUへの直接アクセスを提供します。GPU数を選択し、既製テンプレート（または独自コンテナイメージ）を選んで必要なポートを指定するだけで、あとはプラットフォームがプロビジョニングを担当します。
ユースケース
| ユースケース | 説明 |
|---|---|
| Jupyter Notebook | ローカルハードウェアの制限なしにAI/データサイエンティスト向けのリモート開発環境 |
| Inference | vLLM、Ollamaなどのエンジンを使ったGPUによる高スループットモデル推論 |
| Fine-tuning | PyTorch、CUDA、NVIDIA Container Toolkitを使ったGPUによる事前学習済みモデルのファインチューニング |
| Code Server | GPUを使ってAIモデルのトレーニング、テスト、デバッグをリモートで行えるブラウザベースのVS Code |
主要概念
GPU Instance — GPU Containerの計算ユニット。各インスタンスはH100 GPU、CPUコア、RAM、一時ディスクの固定バンドルです。作成時にサイズを選択し、作成後は変更できません。
Temporary disk — 各GPU instanceに付属する高速ローカルNVMeストレージ。コンテナを停止または削除するとデータは失われます。
Persistent disk — コンテナ作成時にオプションでアタッチできるブロックストレージ。停止/起動サイクルをまたいでデータが保持されます。容量（1〜3,000 GB）とコンテナ内のマウントパスを設定します。
Template — FPTが提供する事前ビルド済みコンテナイメージ。Jupyter Notebook、Code Server、Triton Inference Server、vLLMのバリアントが含まれます。パブリックまたはプライベートレジストリの任意のイメージも使用できます。
Network ports — コンテナから公開するHTTPおよびTCPポート。各HTTPポートにはパブリックURLが自動で割り当てられます。TCPポートはSSHや直接TCP接続に使用します。
GPU instanceサイズ
すべてのインスタンスはハノイリージョンのNVIDIA H100 GPUを使用します。
| インスタンス | GPU VRAM | CPU | RAM | 一時ディスク |
|---|---|---|---|---|
| 1×H100 | 80 GB | 15コア | 250 GB | 1 TB |
| 2×H100 | 160 GB | 30コア | 500 GB | 2 TB |
| 3×H100 | 240 GB | 45コア | 750 GB | 3 TB |
| 4×H100 | 320 GB | 60コア | 1,000 GB | 4 TB |
| 5×H100 | 400 GB | 75コア | 1,250 GB | 5 TB |
| 6×H100 | 480 GB | 90コア | 1,500 GB | 6 TB |
| 7×H100 | 560 GB | 105コア | 1,750 GB | 7 TB |
| 8×H100 | 640 GB | 120コア | 2,000 GB | 8 TB |