# GPU Cluster - Managed K8s with GPU Virtual Machine

## 概要

FPT CLOUD はNVIDIA GPUを搭載したKubernetesを提供し、以下の主要機能を備えています：

* ワーカーグループごとに適用可能な、複数のGPUタイプとオプションのGPUメモリによる柔軟なGPU構成
* NVIDIA OperatorによるKubernetes内でのGPUリソースの自動管理・プロビジョニング。NVIDIA DCGMを使用したGPUの可視化と監視
* アプリケーションのGPUリソース需要増減時に、オートスケーラーによるコンテナ/ノードの自動スケーリング。
* マルチインスタンス機構によるGPU共有をサポートし、GPUリソースとコスト使用の最適化を支援。

FPT CLOUD はNVIDIA GPU Operatorを採用し、Kubernetes上でGPUを利用するために必要な全ソフトウェアコンポーネントを自動管理するツールを提供します。GPU Operatorにより、ユーザーはKubernetesクラスター内のCPUと同様にGPUリソースを利用できます。

Operatorのコンポーネントには以下が含まれます：

* NVIDIAドライバー（CUDA、MIGなど）
* NVIDIAデバイスプラグイン
* NVIDIAコンテナツールキット
* NVIDIA GPU機能検出
* NVIDIAデータセンターGPUマネージャー（監視）

ハノイ2および日本リージョンにおいて、FPT CLOUD は現在、Nvidia H100 GPUおよびNvidia H200 GPUを使用したKubernetesをサポートしています。

<table data-header-hidden><thead><tr><th width="79"></th><th></th><th></th><th></th><th></th></tr></thead><tbody><tr><td><strong>No.</strong></td><td><strong>GPU H100 SXM5</strong></td><td><strong>戦略</strong></td><td><strong>数値インスタン</strong>ス</td><td><strong>インスタンスリソース</strong></td></tr><tr><td>1</td><td>all-1g.10gb</td><td>単数</td><td>7</td><td>1g.10gb</td></tr><tr><td>2</td><td>all-1g.20gb</td><td>単数</td><td>4</td><td>1g.20gb</td></tr><tr><td>3</td><td>all-2g.20gb</td><td>単数</td><td>3</td><td>2g.20gb</td></tr><tr><td>4</td><td>all-3g.40gb</td><td>単数</td><td>2</td><td>3g.40gb</td></tr><tr><td>5</td><td>all-4g.40gb</td><td>単数</td><td>1</td><td>4g.40gb</td></tr><tr><td>6</td><td>all-7g.80gb</td><td>単数</td><td>1</td><td>7g.80gb</td></tr><tr><td>7</td><td>all-balanced</td><td>混合</td><td>2<br>1<br>1</td><td>1g.10gb<br>2g.20gb<br>3g.40gb</td></tr><tr><td>8</td><td>none (no label)</td><td>なし</td><td>0</td><td>0 (全体)</td></tr></tbody></table>

<table data-header-hidden><thead><tr><th width="79"></th><th></th><th></th><th></th><th></th></tr></thead><tbody><tr><td><strong>No.</strong></td><td><strong>GPU H200 SXM5</strong></td><td><strong>戦略</strong></td><td><strong>数値インスタンス</strong></td><td><strong>インスタンスリソース</strong></td></tr><tr><td>1</td><td>all-1g.18gb</td><td>単数</td><td>7</td><td>1g.18gb</td></tr><tr><td>2</td><td>all-1g.35gb</td><td>単数</td><td>4</td><td>1g.35gb</td></tr><tr><td>3</td><td>all-2g.25gb</td><td>単数</td><td>3</td><td>2g.25gb</td></tr><tr><td>4</td><td>all-3g.71gb</td><td>単数</td><td>2</td><td>3g.71gb</td></tr><tr><td>5</td><td>all-4g.71gb</td><td>単数</td><td>1</td><td>4g.71gb</td></tr><tr><td>6</td><td>all-7g.141gb</td><td>単数</td><td>1</td><td>7g.141gb</td></tr><tr><td>7</td><td>all-balanced</td><td>混合</td><td>2<br>1<br>1</td><td>1g.18gb<br>2g.35gb<br>3g.71gb</td></tr><tr><td>8</td><td>none (no label)</td><td>なし</td><td>0</td><td>0 (全体)</td></tr></tbody></table>

#### 例:

* 単一戦略構成「all-1g.10gb」を選択した場合、ワーカー上のH100 GPUカードは7つのmigデバイスに分割され、各デバイスには論理GPUリソース（物理GPUの1/7に相当）と10GBのGPU RAMが割り当てられます。

#### 注記：

MIG構成はワーカーに接続された全カードに適用されます。同一クラスター内のワーカーグループにおけるMIG戦略は同一タイプ（単一/混合/非適用）である必要があります。

### 用語と定義&#x20;

| **用語**                           | **定義**                                                        |
| -------------------------------- | ------------------------------------------------------------- |
| K8s                              | Kubernetes                                                    |
| FKE                              | FPT Kubernetes Engine                                         |
| D-FKE                            | 専用 – FPT Kubernetes Engine                                    |
| M-FKE                            | マネージド – FPT Kubernetes Engine                                 |
| マスターノード                          | コントロールプレーンコンポーネントを含むノード                                       |
| ワーカーノード                          | ワークロードの実行に使用されるノード                                            |
| ノードの自動スケーリング                     | ワーカーノードの自動スケーリング（増加/減少）                                       |
| K8Sクラスタ                          | Kubernetes クラスタとして構成されたノード（VM）の集合。                            |
| <p>NFS パーシステント </p><p>ストレージ </p> | NFS 上の「永続的」ストレージパーティション。                                      |
| Pod                              | <p>Kubernetes によって管理される最小の単位。 </p><p>Pod は 1 つ以上のコンテナを含む </p> |
| Pod ネットワーク                       | Pod に IP アドレスを割り当てるために使用されるネットワーク/サブネット。                      |
| サービスネットワーク                       | サービスに IPアドレスを割り当てるために使用されるネットワーク/サブネット。                       |


---

# Agent Instructions: Querying This Documentation

If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question.

Perform an HTTP GET request on the current page URL with the `ask` query parameter:

```
GET https://ai-docs.fptcloud.com/ai-factory-guideline-jp/fpt-gpu-cloud/gpu-cluster/gpu-cluster-managed-k8s-with-gpu-virtual-machine.md?ask=<question>
```

The question should be specific, self-contained, and written in natural language.
The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.

Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.