✌️コンテナへの接続方法?
特定のニーズ、好み、およびコンテナの作成に使用したテンプレートに応じて、いくつかの異なる方法で GPU コンテナに接続できます。
HTTP サービス
HTTP経由でコンテナに接続するのは便利で、迅速かつHTTPS経由で安全です。 HTTPサービスを使用して接続するには：
ステップ1: コンテナの実行が開始されたら、コンテナ詳細ページに移動します。
ステップ2: 「コンテナへのアクセス」セクションを見つけ、「HTTPエンドポイント」を開きます。
ステップ3：お使いのテンプレートに合ったガイドに従ってください。
テンプレート
Jupyter、Code Server
Ollama WebUI
Ollama
Vllm
前提条件
なし
なし
なし
Hugging Face トークン (*)
新しいコンテナを作成する前に、環境変数セクションにHugging Faceトークンを入力する必要があります。
次の手順
ブラウザでエンドポイントを開く
コンテナ詳細ページの環境変数セクションにあるユーザー名とパスワードフィールドを使用してコンテナにアクセスしてください
ブラウザでエンドポイントを開く
新しい Open WebUI アカウントを作成するか、既存のアカウントを使用します。
モデルを選択してプルし、テストします。
Postmanを使用したコンテナのテスト (**)
Postmanを使用したコンテナのテスト (**)
(*) Hugging Face トークン: Ollama テンプレートを使用する場合、環境変数セクションの Hugging Face トークンが必要です。Hugging Face トークンをお持ちでない場合は、こちらのガイド「ユーザーアクセストークン」に従ってください。
(**) Postmanによるコンテナテスト：エンドポイントに/v1/modelsを追加し、AuthorizationにAPI_TOKENを指定してください。vLLMテンプレートを使用している場合は、コンテナテストのためリクエストパラメータにHUGGING_FACE_HUB_TOKENも含めてください。
TCPポート
パブリックエンドポイント経由でインスタンスにアクセスするには、コンテナ設定にTCPポートを追加する必要があります。コンテナ作成時に、サービスアクセス用のパブリックドメインと外部パブリックポートマッピングが提供されます。外部パブリックポートは30000～40000の範囲からランダムに選択されます。
形式は DOMAIN:EXTERNAL_PORT → INTERNAL_PORT となります。例：
tcp-endpoint-stg.serverless.fptcloud.com:34771 → :22
SSHターミナル
コンテナのSSHコマンドを取得するには、コンテナ詳細ページに移動します。SSHコマンド欄に記載されているコマンドをコピーしてください。
以下のような形式になります：
ssh [[email protected]](mailto:[email protected]) -p 34771 ~/.ssh/id_e25595
ローカル端末でコピーしたコマンドを実行し、コンテナに接続します。
Last updated