Datadog 監視における CloudWatch Metric Streams を活用し、アラート検知のタイムラグを低減!

KDDIアジャイル開発センター株式会社

https://kddi-agile.com/

cloudpack / システム開発

KDDIアジャイル開発センター株式会社

※この導入事例は、KDDIアジャイル開発センター株式会社様との合同開催ブログ記事の一環です。ぜひあわせてご覧ください。

KDDIアジャイル開発センター株式会社様記事:
https://developers.kddi.com/blog/pEl6yM2G0MQpnpd4mBNS2

お客様の課題

  • Datadog の API ポーリングを活用した監視では、メトリクスの収集にタイムラグが発生していたため、早期にアラートを検知することができなかった。

対応と結果

  • API ポーリングから CloudWatch Metric Streams に移行することで、5分で Datadog へのメトリクス通知を実現。アラートの早期発見が可能になった。

KDDIアジャイル開発センター株式会社様(以下、KDDIアジャイル開発センター様)は、法人・ビジネス向けサービスである「KDDI ビジネスオンラインサポート」および「KDDI Business ID」の開発を担当されております。
本サービスの一部の監視、運用・保守をアイレットにて担当させていただいており、このたび、監視の品質向上を目指して、CloudWatch Metric Streams の導入をアイレットが支援させていただきました。

タイムラグ低減を目指して CloudWatch Metric Streams の導入をご支援

「KDDI ビジネスオンラインサポート」はご契約サービス情報を一元管理、「KDDI Business ID」は ID の一元管理をご支援する法人・ビジネス向けのサービスです。
この開発を KDDI Digital Divergence Holdings の一社である KDDIアジャイル開発センター様がご担当されており、関連システムの AWS 移行を同グループ会社であるアイレットがご支援。それ以降、監視・運用・保守をアイレットで担当させていただいております。

これらの監視には SaaS サービスである「Datadog」を活用し、監視抑止などの操作を一元管理しております。しかし、AWS のメトリクスデータを Datadog が収集する際に15分ほどのタイムラグが発生していたため、その遅延を低減し、早期にアラートを検知することが求められていました。

そこで、KDDIアジャイル開発センター様とアイレットで協業し、AWS マネージドサービスの CloudWatch Metric Streams を導入及び Datadog の最適化を対応いたしました。

2社協業で API ポーリングから CloudWatch Metric Streams への切り替えを迅速に対応。アラート検知のタイムラグを15分→5分に短縮!

主に KDDIアジャイル開発センター様で AWS に関わる構築と、この移行作業全体の方針を決定していただき、アイレットは Datadog に関わる影響範囲の事前調査及び設定を担当。2社で切り替えプロセスをディスカッションし、進行いたしました。

AWS 側の CloudWatch Metric Streams については KDDIアジャイル開発センター様にてご対応いただき(詳細は KDDIアジャイル開発センター様のブログ記事を参照)、アイレットでは CloudWatch Metric Streams の導入にあたって、事前に API ポーリングから CloudWatch Metric Streams に切り替えることで発生し得る影響を調査いたしました。その上で、切り替え時のデータの欠落に対する対処方法や delay 値の設定などを KDDIアジャイル開発センター様とご相談しながら決定し、計画を進めていきました。

以前ご支援させていただいた AWS 移行プロジェクトから監視、運用・保守を担当し、KDDIアジャイル開発センター様との連携も強固なため、課題の洗い出しから実行までスピーディに対応することができました。

Datadog から AWS への API ポーリングは推奨値として15分の遅延時間が設定されていましたが、今回 CloudWatch Metric Streams のストリーミング通信に切り替えることにより、タイムラグを15分から5分に短縮することができました。

今後もアイレットはお客様のニーズや課題解決に寄り添った開発にチャレンジし、お客様のビジネス成長に貢献してまいります。

システム構成図
KDDIアジャイル開発センター株式会社様システム構成図

(使用プロダクト)

  • CloudWatch Metric Streams
  • Amazon Kinesis Data Firehose
  • Datadog

Credit

クライアントKDDIアジャイル開発センター株式会社