モデルをデプロイする
Deploy モーダルを開く
Deploy Dedicated Endpoint モーダルは次の 2 通りの方法で開けます。
- Model Catalog から — カタログを参照してモデルを探し、カードの Deploy をクリックします。
- My endpoints から — 右上の Deploy new をクリックします。
フォームを入力する
Hugging Face repo / URL
Hugging Face リポジトリのパスを入力します（例: meta-llama/Llama-3.3-70B-Instruct）。
モデルが private または gated の場合は、下の入力欄に HF token（hf_...）を入力します。
対応フォーマットは safetensors、transformers、GGUF です。gated モデルには HF token が必要です。
Template
Template ドロップダウンから serving runtime を選択します。現在利用できる template は vllm-openai のみで、OpenAI 互換の vLLM server です。ほとんどの LLM に適しています。
必要に応じて Custom config に vLLM の高度なフラグを入力し、template の既定値を上書きできます（例: --max-model-len 8192）。空欄のままにすると既定値が使われます。
Region
デプロイ先のリージョンを選択します。
| 選択肢 | 所在地 |
|---|---|
| Vietnam — Hanoi (VN-HN) | ベトナム・ハノイ |
| Japan — Tokyo | 日本・東京 |
デプロイモード
Quick と Advanced を切り替えます。
Quick モード — 事前構成されたサイズを選択します。
| Size | ハードウェア | replica | 同時利用 | Throughput | 価格 |
|---|---|---|---|---|---|
| Small | 1× A10-24GB | 1 | 約 5 ユーザー | 約 40 token/s | $1.2/h |
| Medium | 2× H100-80GB | 1 · autoscale ON | 約 100 ユーザー | 約 600 token/s | $4.8/h |
| Large | 4× H100-80GB | 2 · autoscale ON | 約 500 ユーザー | 約 2,400 token/s | $9.6/h |
Advanced モード — ハードウェアを直接構成します。
| 項目 | 説明 |
|---|---|
| GPU type | GPU の種類と数を選択します |
| Number of replicas | 現在は 1 replica に固定されています |
| Quantization | 精度フォーマット（既定: FP16） |
| Auto-shutdown idle | 選択したアイドル時間の経過後に endpoint を自動停止します |
概算コスト
ESTIMATED COST ボックスは、サイズや GPU type の変更に応じて更新されます。
| 項目 | 表示内容 |
|---|---|
| PER HOUR | 1 時間あたりの基本 GPU コスト |
| BIZ HOURS (8H × 22D) | 月〜金・1 日 8 時間稼働した場合の月額概算 |
| 24/7 | 常時稼働した場合の月額概算 |
デプロイする
Deploy endpoint をクリックします。endpoint が作成され、My endpoints にステータス Deploying で表示されます。ステータスが Running に変わるまで待ちます。
| endpoint ステータス | 意味 |
|---|---|
| Deploying | GPU のプロビジョニングとモデルのダウンロードが進行中 |
| Running | すべての replica が準備完了し、リクエストを処理中 |
| Stopped | ゼロにスケール済み — GPU は稼働していない |
既存の endpoint では GPU type とモデルを変更できません。別の構成を使うには、endpoint を削除して新規作成してください。
詳細は endpoint を管理する を参照してください。
