さらに、システム関連メトリクスは「システムメトリクス」セクションで確認できます。
モデルは、トレーニング後にモデルハブの「プライベートモデル」セクションに保存されます。ユーザーはダウンロードするか、インタラクティブセッションやテストジョブなどの他のサービスで直接使用できます。
## 4. モデル評価
トレーニング後、モデルの性能が要求される精度と効率を満たしていることを確認するため評価を実施しました。ファインチューニング前後のモデルを比較するため、FPT AI StudioのテストジョブとNLPメトリクスを用いてテストセット上でモデルを評価しています。
**結果：**
#### 注記:
#### 📈 全指標で大幅な向上が確認され、モデルがタスク固有のログ分析パターンを強力に習得したことを示しています。
#### 🎯 ファジーマッチング精度が0.27→0.49に急上昇し、目標表現との整合性が大幅に強化されたことを示しています。
#### ✨ BLEUスコアが0.02→0.28に飛躍的に向上し、語彙精度とフレーズレベルの正確性で顕著な改善が確認されました。
#### 📘 ROUGE指標が著しく改善し、コンテンツ構造の理解深化と生成サマリーの整合性向上を示しています。
## 5. モデルの展開
微調整されたモデルはFPT AI Studioのインタラクティブセッションにデプロイされました。これによりモデルがAPIエンドポイント経由で利用可能となり、当社のStreamlitアプリケーションがログデータを送信し、分析結果をリアルタイムで受信できるようになりました。さらに、インタラクティブセッションのインターフェース上で直接チャットすることも可能です。
## 6. デモアプリケーション
プロジェクトの最終的な成果物はStreamlitダッシュボードであり、リアルタイムのログ分析を可視化するユーザーフレンドリーなインターフェースを提供します。
### 動作原理
{% stepper %}
{% step %}
#### 対話型チャットインターフェース
ユーザーはチャット形式のインターフェースを通じてAIモデルと直接対話できます。本アプリは自由形式のクエリと、以下のような事前定義された分析タスクの両方をサポートします：
* ログ要約：長大なログファイルの簡潔な要約を生成します。
* 根本原因の特定：検出された問題の潜在的な根本原因を特定します。
* パターンの検出：ログ内の反復的な動作や異常を検知します。
{% endstep %}
{% step %}
#### **ログ入力**
ログデータはサイドバーの入力エリアに直接貼り付けることができます。
{% endstep %}
{% step %}
#### **AIによる分析**
ユーザーがタスクを実行または質問を送信すると、アプリはユーザーのプロンプトと提供されたログ内容を組み合わせた構造化リクエストを作成します。これはFPT AI Studio API経由でデプロイされた微調整済みLlama-3.1-8B-Instructモデルに送信され、入力処理後リアルタイムで結果を返します。
{% endstep %}
{% endstepper %}
### デモの実行方法
{% stepper %}
{% step %}
#### リポジトリをクローンする
```
git clone https://github.com/fpt-corp/ai-studio.git
cd tutorials/log-analyzer-chatbot
```
{% endstep %}
{% step %}
#### 必要なライブラリをインストールしてください
```
pip install -r requirements.txt
```
{% endstep %}
{% step %}
#### 環境変数を設定する
上記の図に示すように、FPT AI Studio上のAPIエンドポイントと認証情報を取得し、以下の環境変数を設定する必要があります。`scripts/run_app.sh`:
```
export TOKEN="BEARER_TOKEN"
export ENDPOINT_URL="API_ENDPOINT"
export MODEL="MODEL_ID"
```
{% endstep %}
{% step %}
#### Streamlitアプリケーションを実行する
```
bash scripts/run_app.sh
```
{% endstep %}
{% endstepper %}
**微調整済みモデルを統合したStreamlitデモの結果：**
アプリ内でのステップバイステップの使用方法：
{% stepper %}
{% step %}
ログデータをサイドバーの「ログ内容をここに貼り付け」ボックスに貼り付けてください。（50～150行のログを貼り付ける必要があります。）
{% endstep %}
{% step %}
必要な分析タスクを選択してください：
* ✂️ ログの要約：ログの簡潔な要約を生成します。
* 🔍 根本原因の特定：エラーやインシデントの根本原因を特定します。
* 🧩 パターンの検出：ログ内のパターンや繰り返し発生する動作を検出します。
{% endstep %}
{% step %}
チャットボットはリクエストを自動的にモデルに送信し、応答をリアルタイムでストリーミングします。
{% endstep %}
{% step %}
入力ボックスに新しい質問を入力することで、ボットとの会話を続けることができます。
{% endstep %}
{% step %}
サイドバーの「新規チャット」をクリックすると、すべてのメッセージが消去され、新しいセッションが開始されます。
{% endstep %}
{% endstepper %}
---
# Agent Instructions: Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question.
Perform an HTTP GET request on the current page URL with the `ask` query parameter:
```
GET https://ai-docs.fptcloud.com/ai-factory-guideline-jp/fpt-ai-studio/furufurysuksu-chtoriaru/roguanaraizchattobotto.md?ask=
```
The question should be specific, self-contained, and written in natural language.
The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.
Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.