# 概要

## モデルテスト - テストジョブとは？

**モデルテスト - テストジョブは**、FPT AI Factory Portalの中核機能であり、微調整済みAIモデルを構造化され
自動化された方法で評価します。リアルタイムの手動操作に焦点を当てる**インタラクティブセッション**とは
異なり、**テストジョブ**は事前定義されたデータセットを用いた大規模で反復可能なテストを目的として設
計されています。

<figure><img src="https://fptcloud.com/wp-content/uploads/2025/09/Test-Jobs.png" alt=""><figcaption></figcaption></figure>

**テストジョブの主な機能:**

* **自動評価**：構造化された入力データを用いた大規模テストを実行し、手動介入なしにモデルの
  \
  応答を評価します。
* **カスタムテストセット**：ビジネスケースに合わせて調整されたドメイン固有のデータセットをア
  \
  ップロード（例：カスタムクエリ、法律文書、医療記録）
* &#x20;**標準テストセット**：研究者によって開発された公開ベンチマークを活用し、業界標準（例：Nejumi
  \
  Leaderboard 3、LM Evaluation Harness、VLM Evaluation Kit）に対してモデルを評価
* **性能指標**：定量的および定性的指標を用いてモデルの出力を分析します。

**モデルテスト - テストジョブは**、AIモデルが実際の対話で応答性を持つだけでなく、幅広い入力に対して
\
堅牢性、一貫性、拡張性を備えていることを保証します。特に金融、医療、法務サービスなどの業界にお
\
ける重要度の高いアプリケーションでは、デプロイ前の必須ステップです。

## モデルテスト - Test Jobs はいつ使用すべきか？

**モデルテスト - テストジョブは**、デプロイ前に微調整したモデルの全体的なパフォーマンス、信頼性、スケ
ーラビリティを評価する必要がある場合に最も価値があります。

以下の場合に**テストジョブ**を使用すべきです：

* モデルのパフォーマンスを**大規模環境で**検証したい場合。
* **モデルバージョン間の**改善状況を追跡したい場合。
* **定量的な性能指標**が必要な場合。


---

# Agent Instructions: Querying This Documentation

If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question.

Perform an HTTP GET request on the current page URL with the `ask` query parameter:

```
GET https://ai-docs.fptcloud.com/ai-factory-guideline-jp/fpt-ai-studio/sbisu/moderutesuto-tesutojobu/gai-yao.md?ask=<question>
```

The question should be specific, self-contained, and written in natural language.
The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.

Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.