ヘルプ サーバー メトリック GPU監視
Site24x7のGPU監視は、サーバーにデプロイされたグラフィックスプロセッシングユニット（GPU）の正常性、パフォーマンス、使用率を包括的に可視化します。GPUの使用率、温度、メモリ使用量、クロックスピード、消費電力、ワークロード分散を監視して、コンピューティングパフォーマンスを最適化し、熱や電力に関連するインシデントを防ぎます。
GPUメトリックは、GPUを搭載した各サーバーで実行されているフルスタックエージェントによって収集されます。フルスタックエージェントは、GPUドライバーにクエリを実行して、リアルタイムおよび過去のメトリックを取得します。
フルスタックエージェントは、以下のベンダーのGPU監視をサポートしています。
10個のGPU監視で、ベーシック監視ライセンスを1つ消費します。
Linux フルスタックエージェント バージョン22.3.00以降。
GPU監視は、フルスタックエージェントが監視対象サーバー上でGPUを検出すると、デフォルトで自動的に作成されます。サーバーにGPUが追加または削除された場合は、エージェントのディスカバリープロセスを再実行してください。
GPU監視には、次の2つの方法でアクセスできます。
次のメトリックはカテゴリー別に整理されています。［Linux］と記載されているメトリックは、現在フルスタックエージェントでサポートされています。
GPUデバイスのハードウェアIDとドライバー情報です。
| メトリック名 | 単位 | 説明 | サポートプラットフォーム |
|---|---|---|---|
| GPUベンダー | テキスト | GPUの製造元（例：NVIDIA、AMD、Apple）。 | Linux |
| GPUモデル | テキスト | GPUのモデル名です。 | Linux |
| GPUインデックス | テキスト | サーバー上のGPUのインデックスです（例：最初のGPUは0、2番目は1）。 | Linux |
| GPU UUID | テキスト | GPUデバイスに割り当てられた一意の識別子です。 | Linux |
| GPUアーキテクチャー | テキスト | GPUのハードウェア世代です。NVIDIA GPUのみでレポートされます。 | Linux |
| GPUブランド | テキスト | GPUの製品ブランドです。NVIDIA GPUのみでレポートされます。 | Linux |
| ドライバーバージョン | テキスト | システムにインストールされているGPUドライバーのバージョンです。 | Linux |
| CUDAバージョン | テキスト | インストールされているNVIDIAドライバーがサポートするCUDAのバージョンです。 | Linux |
| GPUコア数 | 数 | GPUで利用可能なプロセッシングコアの総数です。 | Linux |
収集間隔中のリアルタイムGPUアクティビティとコンポーネントの使用率です。
| メトリック名 | 単位 | 説明 | サポートプラットフォーム |
|---|---|---|---|
| GPU使用率 | % | 収集間隔中にGPUがタスクをアクティブに処理していた時間の割合です。 | Linux |
| メモリ帯域幅使用率 | % | GPUメモリコントローラーがアクティブだった時間の割合です。 | Linux |
| エンコーダー使用率 | % | 現在使用中のビデオエンコーディングエンジンの割合です。 | Linux |
| デコーダー使用率 | % | 現在使用中のビデオデコーディングエンジンの割合です。 | Linux |
GPUメモリ（VRAM）の割り当てと使用量です。
| メトリック名 | 単位 | 説明 | サポートプラットフォーム |
|---|---|---|---|
| 合計メモリ | MB | デバイスで利用可能な合計GPUメモリ（VRAM）です。 | Linux |
| 使用済みメモリ | MB | プロセスとGPUドライバーによって現在使用されているGPUメモリの量です。 | Linux |
| 空きメモリ | MB | 新しいプロセスに割り当て可能な現在のGPUメモリの量です。 | Linux |
| メモリ使用率 | % | 現在使用されている合計GPUメモリの割合です。 | Linux |
GPUの熱および消費電力の特性です。
| メトリック名 | 単位 | 説明 | サポートプラットフォーム |
|---|---|---|---|
| GPU温度 | °C | GPUコアの現在の動作温度です。 | Linux |
| 消費電力 | W | GPUの現在の消費電力です。 | Linux |
| 電力制限 | W | GPUが消費するように設定されている最大電力です。 | Linux |
| 電力使用量 | % | 設定された電力制限に対する現在の消費電力の割合です。 | Linux |
| ファン速度 | % | 最大速度に対する現在のファン速度の割合です。 | Linux |
GPUコアとメモリのクロック周波数です。
| メトリック名 | 単位 | 説明 | サポートプラットフォーム |
|---|---|---|---|
| グラフィックスクロック | MHz | GPUグラフィックスエンジンの現在の動作クロックスピードです。 | Linux |
| メモリクロック | MHz | GPUメモリサブシステムの現在の動作クロックスピードです。 | Linux |
| グラフィックスクロック使用率 | % | サポートされている最大速度に対する現在のグラフィックスクロックスピードの割合です。 | Linux |
| メモリクロック使用率 | % | サポートされている最大速度に対する現在のメモリクロックスピードの割合です。 | Linux |
GPUのパフォーマンス状態と、熱/電力によるスロットリングのステータスです。
| メトリック名 | 単位 | 説明 | サポートプラットフォーム |
|---|---|---|---|
| パフォーマンス状態 | テキスト | GPUの現在の電力とパフォーマンスレベルです。 | Linux |
| スロットルステータス | テキスト | ハードウェアを保護するためにGPUが現在、低減されたクロックスピードで実行されているかどうかを示します（はい/いいえ）。 | Linux |
| スロットルの理由 | テキスト | GPUクロックが低減されているアクティブな理由です。 | Linux |
システムへのGPUのPCI Express（PCIe）接続に関するデータスループットとリンク設定です。
| メトリック名 | 単位 | 説明 | サポートプラットフォーム |
|---|---|---|---|
| PCIe TXスループット | KB/s | PCIeバス経由でGPUからシステムにデータが送信されるレートです。 | Linux |
| PCIe RXスループット | KB/s | PCIeバス経由でGPUがシステムからデータを受信するレートです。 | Linux |
| PCIe世代 | テキスト | システムへのGPU接続で現在アクティブなPCIe仕様のバージョンです。 | Linux |
| PCIeリンク幅 | 数 | GPU接続に使用されているPCIeレーンの数です。 | Linux |
エラー訂正コード（ECC）メモリのエラー数です。これらのメトリックは、ECC対応GPUでのみレポートされます。
| メトリック名 | 単位 | 説明 | サポートプラットフォーム |
|---|---|---|---|
| ECCモード | テキスト | GPUでECCメモリ保護が現在有効になっているかどうかを示します（有効/無効）。 | Linux |
| シングルビットECCエラー | 数 | 前回のシステム再起動以降に検出された、修正可能なシングルビットメモリエラーの数です。 | Linux |
| ダブルビットECCエラー | 数 | 前回のシステム再起動以降に検出された、修正不可能なダブルビットメモリエラーの数です。 | Linux |
| 累計シングルビットECCエラー | 数 | GPUのライフタイムにわたる修正可能なシングルビットECCエラーの累計数です。 | Linux |
| 累計ダブルビットECCエラー | 数 | GPUのライフタイムにわたる修正不可能なダブルビットECCエラーの累計数です。 | Linux |
ページのリタイアメントと行のリマッピングを追跡する高度なメモリ信頼性メトリックです。
| メトリック名 | 単位 | 説明 | サポートプラットフォーム |
|---|---|---|---|
| リタイアページ（シングルビット） | 数 | 繰り返される修正可能なエラーのために永久にサービスから外されたGPUメモリページの数です。 | Linux |
| リタイアページ（ダブルビット） | 数 | 修正不可能なエラーのために永久にサービスから外されたGPUメモリページの数です。 | Linux |
| 保留中のリタイアページ | テキスト | リタイアしたメモリページがファイナライズを待っているかどうかを示します（はい/いいえ）。 | Linux |
| リマップされた行（修正可能） | 数 | 修正可能なエラーの後に予備の行にリマップされたメモリ行の数です。 | Linux |
| リマップされた行（修正不可能） | 数 | 修正不可能なエラーの後にリマップされたメモリ行の数です。 | Linux |
| 行のリマップ | テキスト | メモリ行のリマップが保留中であり、完了するためにGPUのリセットが必要かどうかを示します（はい/いいえ）。 | Linux |
| 行のリマップ失敗 | テキスト | 行のリマップが失敗したかどうかを示します（はい/いいえ）。 | Linux |
GPUの動作モードと機能のステータスです。
| メトリック名 | 単位 | 説明 | サポートプラットフォーム |
|---|---|---|---|
| コンピュートモード | テキスト | コンピュートワークロードのためにGPUがプロセス間でどのように共有されるかを制御します。 | Linux |
| ディスプレイ アクティブ | テキスト | このGPUにディスプレイ出力が現在接続され、アクティブになっているかどうかを示します（アクティブ/非アクティブ）。 | Linux |
| 永続モード | テキスト | 再初期化の遅延を避けるために、ワークロード間でGPUドライバーがロードされたままになるかどうかを示します（有効/無効）。 | Linux |
| MIGモード | テキスト | GPUが分離されたマルチインスタンスGPU（MIG）スライスに分割されているかどうかを示します（有効/無効）。 | Linux |
現在GPUリソースを消費しているプロセスに関する情報です。
| メトリック名 | 単位 | 説明 | サポートプラットフォーム |
|---|---|---|---|
| プロセスID | テキスト | 現在GPUを使用しているプロセスのオペレーティングシステムプロセス識別子です。 | Linux |
| プロセス名 | テキスト | 現在GPUを使用しているプロセスの名前です。 | Linux |
| プロセスのコマンドライン | テキスト | 引数やフラグを含む、プロセスを起動するために使用された完全なコマンドです。 | Linux |
| 実行可能パス | テキスト | プロセス実行可能ファイルのファイルシステム上の場所です。 | Linux |
| プロセスGPUメモリ | MB | この特定のプロセスによって消費されているGPUメモリの量です。 | Linux |
| プロセスタイプ | テキスト | プロセスがGPUをどのように使用しているか。 | Linux |
| 合計プロセス数 | 数 | 現在GPUを使用しているプロセスの総数です。 | Linux |
| コンピュートプロセス数 | 数 | AIやMLワークロードなどのコンピュートタスクに現在GPUを使用しているプロセスの数です。 | Linux |
| グラフィックスプロセス数 | 数 | グラフィックスレンダリングに現在GPUを使用しているプロセスの数です。 | Linux |
NVIDIA vGPUライセンスメトリックを可視化し、ライセンスステータス、製品詳細、有効期限情報を直接追跡します。
| メトリック名 | 単位 | 説明 | サポートプラットフォーム |
|---|---|---|---|
| vGPUライセンスステータス | テキスト | NVIDIA vGPUソフトウェアのライセンス状態です（ライセンスあり/ライセンスなし）。 | Linux |
| vGPUライセンス製品 | テキスト | ライセンスされたNVIDIA vGPUソフトウェア製品の名前です。 | Linux |
| vGPUライセンス有効期限 | テキスト | 現在のvGPUソフトウェアライセンスの有効期限が切れる日時です。 | Linux |
NVLinkを搭載したGPU間の高速ピアツーピア通信メトリックです。
| メトリック名 | 単位 | 説明 | サポートプラットフォーム |
|---|---|---|---|
| アクティブなNVLink数 | 数 | このGPUで現在アクティブなNVLink接続の数です。 | Linux |
| NVLinkバージョン | テキスト | このGPUの各リンクでサポートされているNVLinkの世代です。 | Linux |
| NVLink TXスループット | KB/s | NVLink経由でピアGPUにデータが送信されるレートです。 | Linux |
| NVLink RXスループット | KB/s | NVLink経由でピアGPUからデータが受信されるレートです。 | Linux |
| NVLink CRCエラー | 数 | すべてのNVLink接続で検出されたデータ整合性巡回冗長検査（CRC）エラーの総数です。 | Linux |
| NVLinkリプレイエラー | 数 | すべてのNVLink接続にわたるパケット再送信の総数です。 | Linux |
| NVLinkリカバリーエラー | 数 | NVLink接続が接続を復元するために自己再トレーニングする必要があった総回数です。 | Linux |
NVLinkを使用するマルチGPUシステムでは、NVLinkのエラー数を注意深く監視してください。CRCエラーやリプレイエラーの増加は、ケーブルの問題、不適切な装着、またはリンクの安定性に影響を与える冷却問題を示している可能性があります。分散トレーニングや推論ワークロードに影響が及ぶ前に、問題に対処してください。
GPU実行ユニット、メモリアクティビティ、コンピュートパイプラインの使用率に関する詳細な洞察を提供する高度なパフォーマンスプロファイリングメトリックです。
| メトリック名 | 単位 | 説明 | サポートプラットフォーム |
|---|---|---|---|
| SMアクティビティ | % | GPUのコンピュートユニット（ストリーミングマルチプロセッサー）で、少なくとも1つのコンピュートスレッドがアクティブだった時間の割合です。 | Linux |
| SM占有率 | % | 利用可能なコンピュートスレッドスロットのうち、占有されている割合です。 | Linux |
| Tensorコアアクティビティ | % | GPUのTensorコアがアクティブに処理していた時間の割合です。 | Linux |
| メモリ（DRAM）アクティビティ | % | 現在使用されているGPUメモリ帯域幅の割合です。 | Linux |
| FP16アクティビティ | % | GPUの半精度（FP16）コンピュートパイプラインがアクティブだった時間の割合です。 | Linux |
| FP32アクティビティ | % | GPUの単精度（FP32）コンピュートパイプラインがアクティブだった時間の割合です。 | Linux |
| FP64アクティビティ | % | GPUの倍精度（FP64）コンピュートパイプラインがアクティブだった時間の割合です。 | Linux |