⚡クイックスタート - 最初のモデルの微調 整とデプロイ

このガイドでは、AI Studioで初めてのモデルを迅速かつ簡単に微調整し、デプロイする全プロセスをご案内します。

このクイックスタートを完了すると、以下の方法を習得できます：

• 独自のデータセットを使用したモデルの微調整

• モデルの性能評価と分析

• Model Hubを通じた推論用モデルデプロイ

ステップ1. データセットの準備

1. 微調整用にAlpacaまたはShareGPT形式でデータセットを準備してください。

   1. Alpaca

   Alpacaは、指示に従う形式でモデルを微調整するために非常にシンプルな構造を採用してい ます。基本構造は以下の通りです：

• instruction: モデルが実行すべき具体的なタスクや要求を含む文字列。

• input: タスクを実行するためにモデルが処理する必要がある情報を含む文字列

• output: 指示と入力を処理して生成される、モデルが返すべき結果を表す文字列

例:

[
  {
    "instruction": "以下のものを動物、植物、鉱物に分類してください",
    "input": "オークの木、銅鉱石、象",
    "output": "オークの木: 植物\n銅鉱石: 鉱物\n象: 動物"
  },
  {
    "instruction": "半径が与えられた円の面積を求めなさい。",
    "input": "半径 = 4",
    "output": "半径4の円の面積は12.5664平方単位です。これは公式 A = πr² を用いて計算されます。ここで A は面積、π は約3.1416、r は円の半径です。"
  }
]

1. ShareGPT

   ShareGPTは、ユーザーとAIアシスタント間の複数ターンにわたる会話を表現するために設 計されています。各データサンプルは会話配列で構成され、チャットの各ターンには以下が 含まれます：

   • from: 発言者（human、gpt、systemのいずれか）。

   • value: その話者からの実際のメッセージテキスト。

   各サンプルはシステムまたは人間のメッセージで始まり、その後人間のメッセージまたは GPTメッセージが続くべきです。

   例:

   [
     {
       "conversations": [
         {
           "from": "human",
           "value": "ローカルネットワーク内で同僚間でファイルを共有する最適な方法は何ですか？ファイルをホストするために利用できるUbuntuサーバーがあります。"
         },
         {
           "from": "gpt",
           "value": "ローカルネットワーク上で同僚間でファイルを共有する方法はいくつかあります。具体的な要件や利用可能なインフラストラクチャによって異なります..."
   
         }
       ]
     }
   ]

2. データセットをJSON、JSONL、またはPARQUET形式で保存してください。

   すぐに始めるには、ファイルが100MB未満であることを確認し、直接アップロードできるよう にしてください。データセットがそれより大きい場合は、データハブセクションを参照し、大き なファイルのアップロード手順を確認してください。

ステップ2. モデルの微調整

1. モデル微調整を開く → 「微調整パイプライン」で「パイプラインを作成」をクリックします。

2. モデルハブからベースモデルを選択します。

   
3. データセット形式を選択し、ステップ1で準備したデータセットをアップロードします。.

   
4. トレーニングパラメータとインフラストラクチャを設定します

   
5. カスタムのパイプライン名を入力し、完了時に通知を受け取るには「メール送信」オ プションをチェックし、「パイプラインを保存」をクリックします。

   
6. 「ファインチューニングを開始」をクリックします。

   
7. ファインチューニングジョブダッシュボードでジョブの進捗状況を監視できます。ログ、トレ ーニング損失、評価指標を追跡可能です。

   

💡 ヒント: トレーニングの進捗と生成されたモデルは自動的にバージョン管理され、Model Hubに保 存されます。

ステップ3. モデルの評価

1. モデルテスト → [テストジョブ] → [新規ジョブ作成] をクリックします。

2. 作成した微調整済みモデルを選択します。

   
3. テストスイートとテスト基準を選択し、必要に応じてテストデータをアップロードします。

   
4. 出力と評価指標（ファジーマッチ、BLEU、ROUGEなど）を確認する。

   

ステップ4. モデルのデプロイ

1. Model Hub で、ファインチューニング済みモデルバージョンを探します。

2. デプロイモードを選択します（例：APIエンドポイント）。

   
3. デプロイ後、推論リクエスト用のエンドポイントURL、モデル、トークンをコピーします。さ らに、インタラクティブセッションインターフェースで直接チャットすることも可能です

   

まとめ

これでAI Studioでの最初のエンドツーエンドワークフローが完了しました。マルチノードトレーニン グ、データセットのバージョン管理、カスタム評価パイプラインなど、より高度なオプションを探索 する準備が整いました。