ヘルプ Amazon Web Services Amazon CloudWatch Logs連携

Amazon CloudWatch Logs連携

Amazon CloudWatch Logsは、AWSリソース、アプリケーション、サービスからログデータをほぼリアルタイムで収集、保存、分析できる監視サービスです。Site24x7と CloudWatch Logsの連携により、一元化されたダッシュボードでAWSログデータをシームレスに監視・分析できます。

CloudWatch LogsをSite24x7と連携すると、アプリケーションログ、システムログ、AWSサービスログをリアルタイムで可視化できるため、異常を検出し、問題をより迅速にトラブルシューティングし、運用効率を向上させることができます。

概要

Site24x7とCloudWatch Logsの連携により、複数のAWSサービスからのログデータを集約、検索、分析し、ログパターンに基づいてアラートを設定し、ログとパフォーマンスメトリックを相関させて包括的な監視を実現できます。この連携により、CloudWatch Logs監視に加えて、以下の子監視も提供されます。

  • CloudWatch Logsリージョン監視
    特定のAWSリージョン内のすべてのCloudWatchロググループの正常性と可用性を監視します。
  • CloudWatch Logグループ監視
    特定のCloudWatchロググループのログ取り込みメトリックとカスタムフィルターを追跡し、重要なイベントと傾向を特定します。

ユースケース

Site24x7とAmazon CloudWatch Logsの連携により、顧客はロググループレベルで主要なメトリックを監視することで、AWSワークロードのパフォーマンス、セキュリティ、信頼性を詳細に把握できるようになります。

例えば、CloudWatchロググループ監視を使用すると、サブスクリプションフィルター、ログトランスフォーマー、異常検出機能に関連するメトリックに加え、一般的なロググループレベルのメトリックを追跡できます。サブスクリプションフィルターを使用すると、パターンを設定し、フィルタリングされたログイベントをAmazon Kinesis、AWS Lambda、Amazon Data Firehoseなどの他のAWSサービスにリアルタイムでルーティングして、分析やアクションに活用できます。

Site24x7は、これらのフィルターにおける配信エラーやスロットリングの問題をユーザーに通知することで、データ取り込みの問題を迅速に解決できるよう支援します。さらに、変換されたバイト数、変換エラー、処理されたイベント数などの変換メトリックを監視し、ログが保存または分析前に効率的に正規化されていることを確認します。これは、異種ソースからのログを処理する場合に特に役立ちます。
さらに、Site24x7は、コンプライアンスとセキュリティ体制を維持するために、ロググループでデータ保護や異常検出などの重要な設定が無効になっている場合にもユーザーに通知します。全体として、この連携により、ユーザーはログの正常性をプロアクティブに管理し、問題をより迅速にトラブルシューティングし、AWS環境全体でログ処理パイプラインを最適化できるようになります。

Amazon CloudWatch Logs連携のメリット

Site24x7とCloudWatch Logsの連携により、次のようなメリットが得られます。

  • ステータスの伝播とプロアクティブなアラート:When thresholds are configured, any status change in child monitors automatically updates the parent monitor’s status, ensuring timely alerts and quicker incident response.
  • リージョンレベルの可視性:CloudWatch Logsリージョン監視は、サブスクリプションフィルター、変換メトリック、ロググループの合計数、ロググループで使用される全体的なストレージなど、アカウントレベルの分析情報を提供し、AWSリージョン全体のログ記録アクティビティを監視するのに役立ちます。
  • ロググループレベルのインサイト:CloudWatch Logsのグループ監視は、ロググループサブスクリプションフィルターや変換設定に関するメトリックなど、詳細なロググループレベルの可視性を提供し、個々のロググループの正常性と構成を追跡できるようにします。
  • アクティブなロググループにフォーカスする:過去1か月以内に更新されたロググループのみがアクティブに監視され、収集されたデータが最新かつ関連性があると保証ができるため、パフォーマンスの向上、ノイズの削減に繋がります。
  • オペレーショナル・インテリジェンスの向上:アクティブなロググループとログインフラストラクチャの正常性に関するより深い分析情報を取得して、トラブルシューティング、監査、パフォーマンスの最適化をより効率的に行うことができます。

セットアップと構成

  1. Site24x7アカウントにログインします。
  2. Cloud → AWS → AWSアカウント連携に移動し、cross-account IAM roleを作成して、Site24x7がAWSリソースにアクセスできるようにします。
  3. Integrate AWSアカウント連携ページで、要件に基づいて検出するサービスのリストからCloudWatch Logsを選択します。

権限

Site24x7がAmazon CloudWatch Logsを監視するために次の権限を取得していることを確認します。

  • "logs:GetDataProtectionPolicy",
  • "logs:DescribeLogGroups",
  • "logs:ListLogAnomalyDetectors",
  • "logs:DescribeLogStreams",
  • "logs:DescribeSubscriptionFilters",
  • "logs:GetLogEvents",
  • "logs:DescribeAccountPolicies",
  • "logs:DescribeMetricFilters",
  • "logs:DescribeFieldIndexes",
  • "logs:ListTagsForResource"

ポーリング頻度

Site24x7は、設定されたポーリング頻度(1分に1回から1日に1回)でAWSサービスレベルAPIをクエリし、Amazon CloudWatch Logs監視からメトリックを収集します。

サポート対象メトリック

Amazon CloudWatch Logs監視でサポートされているメトリックを以下に示します。

CloudWatch Logs リージョン監視

メトリック名 説明 統計 単位
ロググループの合計 リージョン内のロググループの合計数 最大 カウント
消費されたストレージの合計 リージョン内のロググループによって消費されるストレージの合計量 和 MB
標準クラスロググループの数 標準クラスのロググループの合計数 最大 カウント
低頻度アクセスクラスロググループの数 低頻度アクセスクラスのログ グループの合計数 最大 カウント
過去1時間のロググループの数 過去1時間に作成されたログ グループの数 最大 カウント
メトリックフィルターの数 リージョン内のメトリックフィルターの合計数 最大 カウント
コール数 アカウントで実行された指定されたAPI操作の数 和 カウント
エラー数 アカウントで実行され、エラーとなったAPI操作の数 和 カウント
スロットル数 使用量制限により制限された、アカウントで実行された API 操作の数 和 カウント
アカウントレベルの配信エラー CloudWatch Logsがサブスクリプションの送信先にデータを転送する際にエラーを受信したログイベントの数
アカウントレベルのサブスクリプションフィルター用です。
和 カウント
アカウントレベルの配信スロットリング アカウントレベルのサブスクリプションの送信先にデータを転送するときにCloudWatch Logsが調整されたログイベントの数 和 カウント
アカウントレベルの転送バイト数 アカウントレベルのサブスクリプションの宛先に転送されるログイベントの量(圧縮バイト単位) 和 バイト
アカウントレベルの転送ログイベント アカウントレベルのサブスクリプションの宛先に転送されたログイベントの数 和 カウント
アカウントレベルの変換エラー アカウントレベルのトランスフォーマーを使用してログイベントの変換中に発生したエラーの数 和 カウント
アカウントレベルの変換バイト 変換されたログイベントの出力量(非圧縮バイト単位) 和 バイト
アカウントレベルの変換されたログイベント アカウントレベルのトランスフォーマーによって変換されたログイベントの数 和 カウント

CloudWatch Logグループ監視

メトリック名 説明 統計 単位
消費されたストレージの合計 ロググループによって消費されるストレージの量 和 MB
EMF解析エラー 埋め込みメトリック形式のログ処理中に発生した解析エラーの数
これらのエラーは、ログが埋め込みメトリック形式であると識別されたものの、正しい形式に従っていない場合に発生します。
和 カウント
受信バイト ロググループにアップロードされたログイベントの量(非圧縮バイト単位) 和 バイト
EMF検証エラー 埋め込みメトリック形式ログの処理中に発生した検証エラーの数
これらのエラーは、埋め込みメトリック形式ログ内のメトリック定義が埋め込みメトリック形式およびMetricDatum仕様に準拠していない場合に発生します。
和 カウント
受信ログイベント ロググループにアップロードされたログイベントの数 和 カウント
ロググループレベルの変換エラー ロググループレベルのトランスフォーマーを使用してログイベントを変換中に発生したエラーの数 和 カウント
ロググループレベルの変換バイト 変換されたログイベントの出力量(非圧縮バイト単位) 和 バイト
ロググループレベルの変換されたログイベント 変換されたログイベントの数 和 カウント
中優先度異常数 中程度の優先度を持つ異常の数 和 カウント
高優先度異常数 優先度の高い異常の数 和 カウント
低優先度異常数 優先度が低い異常の数 和 カウント
メトリックフィルターの数 ロググループ内のメトリックフィルターの数 最大 カウント
ロググループレベルの配信エラー サブスクリプションの送信先にデータを転送するときに CloudWatch Logsがエラーを受信したログイベントの数 和 カウント
ロググループレベルの転送バイト数 サブスクリプションの宛先に転送されるログイベントの量(圧縮バイト単位) 和 カウント
ロググループレベルの転送ログイベント サブスクリプションの宛先に転送されたログイベントの数 和 カウント

しきい値の設定

CloudWatch Logs監視のしきい値を設定する方法は以下の通りです。

  1. Site24x7アカウントにログインし、[管理]→[設定プロファイル]→[しきい値と可用性]に移動します。
  2. しきい値プロファイルの追加をクリックします。
  3. [監視タイプ]ドロップダウンメニューから適切な監視タイプを選択します。
    使用可能な監視タイプは、CloudWatch Logs、CloudWatch Logs Region、CloudWatch Log Groupです。
  4. [表示名]フィールドに適切な名前を入力します。
  5. サポートされているメトリックは[しきい値設定]セクションに表示されます。上記のすべてのメトリックに対してしきい値を設定できます。
  6. [保存]をクリックします。

CloudWatch Logs監視のステータス伝播

Site24x7のCloudWatch Logs連携には、ステータス伝播機能が含まれており、子監視からのアラートが親であるCloudWatch Logs監視に伝播されます。しきい値プロファイル編集ページで「子監視のステータス変更を通知」オプションを有効にすると、CloudWatch Logsリソース全体でアラート処理を効率化できます。

CloudWatch Logs Regionや CloudWatch Logs Groupなどの子監視は、ステータスの変化を親であるCloudWatch Logs監視に通知します。この通知により、すべてのアラートを一元的に把握し、潜在的な問題にタイムリーに対応できるようになります。

例えば、CloudWatch Log Group監視が高いエラー率を検出し、トラブル状態に変化した場合、「子監視のステータス変更を通知」オプションが有効になっている限り、このステータスは自動的に親のCloudWatch Logs監視に伝播され、アラートがトリガーされます。これにより、個々のロググループ監視を確認することなく、トップレベルでアラートを受け取ることができます。

ライセンス

  • CloudWatch Log Group監視100件ごとに、アドバンス監視ライセンスが1つ消費されます。
    つまり、Site24x7は各CloudWatch Log Group監視を個別にカウントするのではなく、100個のCloudWatch Log Group監視を1つのアドバンス監視ユニットとして扱います。
  • CloudWatch LogsおよびCloudWatch Logs Region監視は無料の監視です。

Amazon CloudWatch Logsデータの表示

CloudWatch Logs環境を監視するには、Site24x7アカウントにログインし、[Cloud]→[AWS]→[CloudWatch Logs]に移動します。

監視データ

各Amazon CloudWatch Logs監視の監視データを以下にご案内いたします。

CloudWatch Logs

概要

[概要]タブには、イベントのタイムラインとメトリックの概要がグラフ形式で表示されます。

リージョン

リージョンの可用性とリージョン監視のリスト、ステータス、監視タイプ、アクションオプションを表示します。
優先する送信元サーバー監視の「アクション」ボタンを使用してしきい値を設定できます。また、「しきい値設定」ボタンを使用してしきい値を一括設定することもできます。CloudWatch Logsのリージョン監視の詳細を表示するには、目的の監視名のハイパーリンクをクリックしてください。

ロググループ

ロググループの可用性とロググループ監視のリスト、それぞれのステータス、監視タイプ、アクションオプションを表示します。
優先する送信元サーバー監視の「アクション」ボタンを使用してしきい値を設定できます。また、「しきい値設定」ボタンを使用してしきい値を一括設定することもできます。CloudWatch ロググループ監視の詳細を表示するには、目的の監視名のハイパーリンクをクリックしてください。

Outages

[Outages]タブには、停止の開始時刻、終了時刻、期間、コメント(任意)の詳細が表示されます。

インベントリ

[インベントリ]タブでは、リソース名、チェック頻度、監視ライセンスカテゴリなどの詳細情報を取得できます。しきい値と可用性プロファイル、および通知プロファイルはユーザーごとに設定でき、このタブで確認できます。

ログレポート

各CloudWatch Logs監視のログステータスの統合レポートが表示され、CSVファイルとしてダウンロードできます。

アラートログ

CloudWatch Logs に関連して発生したすべてのアラートが時系列で表示されます。
アラートの履歴と重要度を追跡して、問題を評価したり、しきい値設定を検証したりするのに役立ちます。

CloudWatch Logs Region

概要

[概要]タブには、イベントのタイムラインとメトリックの概要がグラフ形式で表示されます。

ロググループ

ロググループの可用性とロググループ監視のリスト、それぞれのステータス、監視タイプ、アクションオプションを表示します。
優先する送信元サーバー監視の「アクション」ボタンを使用してしきい値を設定できます。また、「しきい値設定」ボタンを使用してしきい値を一括設定することもできます。CloudWatch ロググループ監視の詳細を表示するには、目的の監視名のハイパーリンクをクリックしてください。

構成

アカウントレベルのトランスフォーマーやアカウントレベルのサブスクリプションフィルターの詳細など、CloudWatch Logs Region監視の構成情報を表示します。

Outages

[Outages]タブには、停止の開始時刻、終了時刻、期間、コメント(任意)の詳細が表示されます。

インベントリ

[インベントリ]タブでは、リソース名、チェック頻度、監視ライセンスカテゴリなどの詳細情報を取得できます。しきい値と可用性プロファイル、および通知プロファイルはユーザーごとに設定でき、このタブで確認できます。

ログレポート

各CloudWatch Logs監視のログステータスの統合レポートが表示され、CSVファイルとしてダウンロードできます。

アラートログ

CloudWatch Logsに関連して発生したすべてのアラートが時系列で表示されます。
アラートの履歴と重要度を追跡して、問題を評価したり、しきい値設定を検証したりするのに役立ちます。

CloudWatch Log Group

概要

[概要]タブには、イベントのタイムラインとメトリックの概要がグラフ形式で表示されます。

ログストリーム

CloudWatch Log Group監視に関連付けられたログストリームのリストを表示します。
目的のログストリーム名をクリックすると、「ログイベント」ダイアログボックスが表示されます。「ログイベント」ダイアログボックスには、ログストリーム名、作成時刻、最終イベント時刻などの詳細情報に加え、選択した期間のログイベントのリストが表示され、各イベントのメッセージとタイムスタンプを確認できます。

サブスクリプションフィルター

このタブは監視にサブスクリプションフィルターが設定されている場合にのみ表示されます。
フィルター名、フィルターパターン、宛先ARN、宛先タイプなどのサブスクリプションの詳細を確認できます。

メトリックフィルター

選択したロググループに設定されているすべてのCloudWatchメトリックフィルターが表示されます。
メトリックフィルターを使用すると、ログイベントからメトリックデータを抽出し、可視化やアラート生成に利用できます。
このタブには、フィルター名、作成時刻、フィルターパターンなどの主要なフィルター属性が表示されます。

監視対象リソース

監視対象リソースタブには、ロググループがKMSサービスに関連付けられている場合、Site24x7によって管理および監視されるすべてのKMS監視リソースが一覧表示されます。

データ保護ポリシー

ロググループのデータ保護ポリシー(設定されている場合)が表示されます。これらのポリシーは、PII(個人情報)や機密データの識別と編集方法を指定することにより、ログストリーム内の機密データを保護するのに役立ちます。

構成

リージョン、ロググループ名、ロググループクラスなどの構成情報を表示します。

Outages

[Outages]タブには、停止の開始時刻、終了時刻、期間、コメント(任意)の詳細が表示されます。

インベントリ

[インベントリ]タブでは、ロググループ名、チェック頻度、監視ライセンスカテゴリなどの詳細情報を取得できます。しきい値と可用性プロファイル、および通知プロファイルはユーザーごとに設定でき、このタブで確認できます。

ログレポート

各CloudWatch Log Group監視のログステータスの統合レポートが表示され、CSVファイルとしてダウンロードできます。

アラートログ

CloudWatch Log Group監視に関連して発生したすべてのアラートが時系列で表示されます。このタブは、アラートの履歴と重大度を追跡して、問題を評価し、しきい値設定を検証するのに役立ちます。