ヘルプ GCP Storageバケットからのログの転送

GCP Storageバケットからのログの転送

Google Cloud Platform（GCP）Cloud Storageは、大量のデータを保存するスケーラブルなコンテナとして機能します。Site24x7はGoogle Cloud Functionsを使用して、Cloud Storageバケットに追加された新しいログを収集し、インデックス作成のためにSite24x7に送信します。

gcp_storage_bucket

ログのタイプを定義する

ログタイプは、アプリケーションがログを生成する際の特定の形式を定義します。IIS、Cassandra、Apache、MySQLなどのアプリケーションはさまざまな形式でログを生成するため、ログタイプを明確に定義することでログを整理し、ログへのアクセスを容易にし、検索効率を向上させることができます。ログタイプを作成するには、以下の手順に従います。

  1. Site24x7にログインします。
  2. ［管理］→［AppLogs］→［Log Types］→［ログタイプの追加］に移動します。カスタムログタイプを定義して、さまざまなアプリケーションのログをグループ化し、アクセスを容易にし、より効率的に検索することもできます。
  3. カスタムログタイプを選択した場合は、表示名を入力します。
  4. ログパターンを識別するには、Cloud Storageバケットに保存されているログを提供します。
  5. ［保存］をクリックします。
    logtype

GCPに保存されているログのログタイプを定義したら、それをログプロファイルにリストし、検索クエリを実行してログの管理を開始します。

ログプロファイルを作成する

GCP Cloud StorageバケットからSite24x7にログを収集するには、まずログプロファイルを設定し、Google Cloud Functionsを設定して、Cloud StorageバケットからSite24x7のログレシーバーにログをルーティングします。ログプロファイルを作成するには、以下の手順に従ってください。

  1. ［管理］→［AppLogs］→［Log Types］→［ログタイプの追加］に移動します。
  2. 次の詳細を入力します。
    1. プロファイル名：ログプロファイルを識別するための一意の名前を入力します。
    2. ログタイプ：上記の手順で作成されたログタイプを選択します。
    3. ログソース：GCP関数を選択します（ここでは、汎用ログソースを設定するためのプレースホルダーとして使用されます）。
    4. タイムゾーン：ログに適切なタイムゾーンを選択します。
  3. ［保存］をクリックしてログプロファイルを作成します。
    logprofile

Google Cloud Functionsを構成する

  1. Google Cloud Consoleにログインします。
  2. 左上隅の［≡（ハンバーガーアイコン）］に移動します。
  3. ［Cloud Run］→［サービス］→［関数の書き込み］をクリックします。
    console
  4. 開いた［サービスの作成］ページで、クラウド関数を設定します。
    1. インラインエディターを使用して関数を作成します。
    2. サービス名を入力し、リージョンを選択します。
    3. ランタイムとしてPython 3.11（利用可能な最新バージョン）を選択します。
    4. ［トリガー］配下の［Cloud Storageトリガー］を選択し、［Eventarcトリガー］ウィンドウを開きます。
      cloud_storage_trigger
    5. イベントタイプでバケットに作成されたオブジェクト名を選択します。
    6. イベントデータコンテンツタイプで［application/json］を選択します。
    7. バケット名を参照し、［選択］をクリックして［バケット］フィールドの下に追加し、Google Cloud Storageバケットが新しく作成されたバケットをサブスクライブするようにします。
    8. サービスアカウントとしてCompute Engineのデフォルトのサービスアカウントを選択します。
  5. ［トリガーを保存］をクリックします。
    save_trigger
    トリガーの詳細が正常に追加されます。
  6. 認証セクションで次の操作を行います。
    1. ［必要な認証］を選択し、［Identity and Access Management（IAM）］チェックボックスを有効にします。
  7. ［作成］をクリックします。
    create_console

この設定により、Cloud Storageトリガーからの受信ログメッセージをリッスンする Eventarcトリガー関数が作成されます。

関数コードをデプロイする

  1. Eventarcトリガーが作成されましたら、"main.py"ファイル内のクラウド関数（関数コード）を編集します。
    function_code
  2. "main.py"ファイルを以下のリンクのコードに置き換えます。
    https://github.com/site24x7/applogs-gcp-functions/blob/main/cloudbucket/main.py
    コードを置き換えた後、関数のエントリポイントの値を「process_gcs_event」に変更します。
    main_console
  3. "requirements.txt"ファイルの内容を以下の内容に置き換えます。
    https://github.com/site24x7/applogs-gcp-functions/blob/main/cloudbucket/requirements.txt
    requirement_console
  4. コードを入力したら、Site24x7のWebクライアントに移動します。
    1. ［管理］→［AppLogs］→［Log Profile］に移動します。
    2. 作成されたログプロファイルを選択し、logTypeConfigの表示されたコードをコピーします。
      edit_profile
  5. Google Consoleに戻ります。
    1. 作成されたCloud Functionの［構成］セクションに移動します。
    2. 環境変数の下に、新しいキーと値のペアを追加します。
      • キー：logTypeConfig
      • 値：Site24x7のログプロファイルページからコピーしたlogTypeConfigを貼り付けます。
  6. ［デプロイ］をクリックします。
    deploy

関連記事