FAQ
課金
1. Dedicated Inference の課金方法は？
課金は独立した 2 つの要素で構成されます。
| 要素 | 課金されるタイミング |
|---|---|
| Compute (GPU) | endpoint が Running の間のみ |
| Storage | endpoint を削除するまで常時 |
compute は分単位課金で、最低 60 秒、切り上げで計算されます。token 使用量（TOKENS IN / TOKENS OUT）は分析用にのみ記録され、課金対象ではありません。
2. endpoint を一時停止（Stopped）した場合、storage 料金は発生しますか？
発生します。endpoint を停止すると GPU 料金は即座に停止しますが、storage 料金は継続します。Stopped の間も model weights はアタッチされた NVMe disk 上に残るため、storage の確保は継続しています。
storage 料金が停止するのは endpoint を削除したときだけです。endpoint のライフサイクルは Creating → Running → Stopped → Deleted です。
3. 残高が不足するとどうなりますか？
endpoint の種類によって動作が異なります。
| endpoint の種類 | 残高がゼロになったとき |
|---|---|
| scale-to-zero 対応 | 処理中のリクエストを完了させるための 30 秒の猶予後、replica が 0 にスケールします |
| Always-on | 新規リクエストは 402 で拒否され、処理中のリクエストは正常に完了します |
残高をチャージすればすぐに再開できます。endpoint が Stopped の間も storage 料金は発生し続けます。
残高が大幅なマイナスのまま長期間続いた場合、hard stop が適用されることがあります。この場合は処理中のリクエストを含むすべてのトラフィックが即座に拒否されます。復旧には手動操作とアカウントへのチャージが必要です。
4. 利用金額の上限を設定できますか？
設定できます。My endpoints → Usage & Billing で Set budget alert をクリックし、月間の支出しきい値通知を設定します。
endpoint
5. endpoint の起動にはどれくらいかかりますか？
起動時間はモデルサイズによって異なります。たとえば 7B モデル（Mistral 7B など）は通常約 3 分で起動します。より大きなモデルではさらに時間がかかります。
6. endpoint 作成後に GPU type やモデルを変更できますか？
変更できません。既存の endpoint では GPU type とモデルを変更できません。別の GPU やモデルを使うには、endpoint を削除して新規作成してください。
endpoint で利用できる操作は start、stop、scale、redeploy、delete です。その場での更新や設定変更の操作はありません。
7. Deploying ステータスは何を意味しますか？
endpoint のプロビジョニング中です。GPU の割り当てと model weights のダウンロードが進行しています。endpoint 名をクリックして詳細ページを開き、deployment log で進捗を確認できます。
8. 1 つの endpoint で複数のモデルを実行できますか？
できません。各 endpoint が提供するモデルは 1 つだけです。複数のモデルを同時に提供するには、モデルごとに endpoint を作成してください。
API key
9. API key はどこで作成しますか？
Dedicated Inference → API keys で key を作成してコピーします。手順の詳細は API key を作成・管理する を参照してください。
API と連携
10. 標準の HTTP client や Python ライブラリで API を呼び出せますか？
呼び出せます。endpoint は標準の chat completions API を公開しています。gateway URL は、endpoint が Running になった後に詳細ページで確認できます。
11. 429 Too Many Requests が返ります。レート制限はどうなっていますか？
レート制限は 3 つの軸で適用されます。1 分あたりのリクエスト数（RPM）、1 分あたりの token 数（TPM）、同時リクエスト数です。制限を超えると gateway は 429 rate_limited を返します。上限の引き上げはサポートへお問い合わせください。
12. streaming レスポンスに対応していますか？
対応しています。リクエストボディで "stream": true を指定します。API は Server-Sent Events (SSE) を返します。streaming のコード例は Inference API を呼び出す を参照してください。