ヘルプ Amazon Web Services Kinesis Data Firehose

Kinesis Data Firehose 連携

ほぼリアルタイムで、データストアと他の宛先にストリーミングデータを断続的にロードできる完全管理サービスです。Site24x7とAWSの連携により、スループット、配信、データ変換およびAPIアクティビティのメトリクスを監視し、レコードが確実に宛先へ届いていることを確認することができます。

設定手順

  • まだ設定がお済みでない場合は、Site24x7をIAMユーザーとして作成するか、アカウントとSite24x7のAWSアカウント間にクロスアカウントのIAMロールを作成し、AWSリソースへのアクセスを有効にします。 詳細はこちら
  • AWSアカウント連携ページのサービス検索フィールドで、Kinesis Firehoseのチェックボックスが選択されていることを確認します。 詳細はこちら

ポリシーと権限

Site24x7のエンティティに割り当てられているIAMポリシーに、以下の読み込みレベルでのアクションが存在することを確認します。 詳細はこちら

  • firehose:Describe* : 配信ストリームの詳細を表示し、ステータスを取得します。
  • firehose:List*: タグとともに、配信ストリームを返します。

ポーリング間隔

Site24x7では、CloudWatch APIを5分毎にクエリして、パフォーマンスメトリクスを収集します。 詳細はこちら

メトリクスの表示手順

  • Site24x7コンソールにログインします。[AWS] > [監視するAWSアカウント]へ移行し、ドロップダウンメニューから[Kinesis Firehose]を選択します。
  • 監視する配信ストリームリストから、メトリクスを表示したいストリームを選択します。
  • ストリーム詳細タブでは、配信ストリームに適したさまざまなグラフが表示されます。

サポートしているメトリクス

配信ストリームレベルでは、以下のメトリクスが収集されます：

バックアップベース

属性 詳細 データタイプ 統計
BackupToS3.Bytes 指定された期間にバックアップのために Amazon S3に配信されるバイト数です。 バイト 合計
BackupToS3 DataFreshness Kinesis Data Firehose の最も古いレコードの経過時間 (Kinesis Data Firehose に入ってから現在まで)です。この経過時間より古いレコードは、Amazon S3 バケットに配信されてバックアップされます。 秒 平均
BackupToS3.Records 指定された期間にバックアップのためにAmazon S3に配信されるレコード数です。 カウント 合計
BackupToS3.Success すべてのAmazon S3 putコマンドの合計に対する、バックアップを正常に完了したAmazon S3 putコマンドの合計です。 カウント 合計

宛先ベース

属性 詳細 データタイプ 統計
DeliveryToElasticsearch.Bytes Amazon ES にインデックス作成されたバイト数です。 バイト 合計
DeliveryToElasticsearch.Records Amazon ES にインデックス作成されたレコード数です。 カウント 合計
DeliveryToElasticsearch.Success インデックス作成が試みられたレコードの合計に対する正常にインデックス作成されたレコードの合計です。 カウント 合計
DeliveryToRedshift.Bytes Amazon Redshiftにコピーされたバイト数です。 バイト 合計
DeliveryToRedshift.Records Amazon Redshiftにコピーされたレコード数です。 カウント 合計
DeliveryToRedshift.Success すべてのAmazon Redshift COPYコマンドの合計に対して、正常に実行されたAmazon Redshift COPYコマンドの合計です。 カウント 合計
DeliveryToS3.Bytes 指定された期間にAmazon S3に配信されたバイト数です。 バイト 合計
DeliveryToS3.DataFreshness Kinesis Data Firehoseの最も古いレコードの経過時間(Kinesis Data Firehose に入ってから現在まで)です。この経過時間より古いレコードは S3バケットに配信済みです。 秒 合計
DeliveryToS3.Records Amazon S3 に配信されたレコード数です。 カウント 合計
DeliveryToS3.Success すべてのAmazon S3 putコマンドの合計に対して、正常に実行されたAmazon S3 putコマンドの合計です。 カウント 合計
DeliveryToSplunk.Bytes Splunkに配信されたバイト数です。 バイト 合計
DeliveryToSplunk.DataFreshness Kinesis Data Firehose の最も古いレコードの経過時間(Kinesis Data Firehose に入ってから現在まで)。この経過時間より古いレコードは Splunk に配信済みです。 秒 合計
DeliveryToSplunk.Records Splunk に配信されたレコード数です。 カウント 合計
DeliveryToSplunk.Success インデックス作成が試みられたレコードの合計に対する正常にインデックスが作成されたレコードの合計です。 カウント 合計
IncomingBytes Kinesis Data Firehose ストリームに取り込まれたバイト数です。 バイト 合計
IncomingRecords Kinesis Data Firehose ストリームに取り込まれたレコード数です。 カウント 合計

APIレベルのメトリクス

属性 詳細 データタイプ 統計
DescribeDeliveryStream.Latency DescribeDeliveryStreamオペレーションごとにかかった時間です。 ミリ秒 平均
DescribeDeliveryStream.Requests DescribeDeliveryStream リクエストの総数です。 カウント 合計
ListDeliveryStreams.Latency ListDeliveryStreamオペレーションごとにかかった時間です。 ミリ秒 合計
ListDeliveryStreams.Requests ListFirehose リクエストの総数です。 カウント 合計
PutRecord.Bytes PutRecordを使用してKinesis Data Firehose配信ストリームに送信されたバイト数です。 バイト 合計
PutRecord.Latency PutRecord オペレーションごとにかかった時間です。 ミリ秒 合計
PutRecord.Latency PutRecord リクエストの総数です。 カウント 合計
PutRecordBatch.Bytes PutRecordBatchを使用してKinesis Data Firehose配信ストリームに送信されたバイト数です。 バイト 合計
PutRecordBatch.Latency PutRecordBatch オペレーションごとにかかった時間です。 ミリ秒 平均
PutRecordBatch.Records PutRecordBatch オペレーションのレコード総数です。 カウント 合計
PutRecordBatch.Requests PutRecordBatch リクエストの総数です。 カウント 合計
UpdateDeliveryStream.Latency UpdateDeliveryStream オペレーションごとにかかった時間です。 ミリ秒 平均
UpdateDeliveryStream.Requests UpdateDeliveryStream リクエストの総数です。 カウント 合計

データ変換のメトリクス

Lambda によるデータ変換が有効な場合、データポイントの以下のパフォーマンスメトリクスが表示されます。

属性 詳細 データタイプ 統計
ExecuteProcessing.Duration Kinesis Data Firehose によって実行される各 Lambda 関数呼び出しにかかる時間です。 秒 合計
ExecuteProcessing.Success Lambda 関数呼び出しの合計に対する成功した Lambda 関数呼び出しの合計です。 カウント 合計
SucceedProcessing.Records 指定した期間中に正常に処理されたレコードの数です。 カウント 合計
SucceedProcessing.Bytes 指定した期間中に正常に処理されたバイトの数です。 バイト 合計

設定詳細

配信ストリームベースでは、以下の一般設定データが収集されます：

属性 詳細
ストリーム名 配信ストリームの表示名です。
ストリームARN 配信ストリームのAmazonリソースネームです。
ストリームステータス 配信ストリームのステータスです。
ストリームタイプ 論理カテゴリまたはインデックスのタイプです。
バージョンID 配信ストリームのバージョン番号です。
配信開始時間 Firehoseで最初にレコードを受信した時点のタイムスタンプです。
送信元ストリームARN 送信元のAmazonリソースネームです。-直接またはKinesisストリームです。
送信元IAMロール 送信元ストリームにアタッチされたIAMロールです。
宛先タイプ 宛先- ElasticSearchクラスター、S3バケット、RedShift または Splunk を表示します。