お客様の課題
- 既存環境におけるログデータの管理・運用コストを見直すため、コスト効率の高い BigQuery へのログデータの転送・格納を検証する必要があった。
対応と結果
- 既存環境から BigQuery へのデータ転送方法、データ格納方法、ステータス管理方法を調査・検証し、Google Cloud 環境での分析基盤構築が実現可能であることを導き出した。
株式会社サイバーセキュリティクラウド様（以下、サイバーセキュリティクラウド様）は、パブリッククラウド環境フルマネージドセキュリティサービス「CloudFastener（クラウドファスナー）」のログデータ分析基盤構築に関して、Google Cloud プラットフォームの活用可能性について検討を進めていました。当プロジェクトの調査および PoC をアイレットが支援させていただきました。
Google Cloud の BigQuery を活用し、ログデータの効率的な管理と 高度な分析基盤の構築を目指す
グローバルセキュリティメーカーのサイバーセキュリティクラウド様は、パブリッククラウド環境フルマネージドセキュリティサービス「CloudFastener」を開発・提供しています。当サービスはクラウド環境で構築していますが、サービスが拡大する中で、より効率的かつ高度な分析基盤の構築を目指す一環として Google Cloud の BigQuery の活用を検討していました。
そこで、戦略的パートナーとして長年連携してきたアイレットにご依頼いただき、ログデータを BigQuery へ取り込むためのアーキテクチャの検討と PoC を実施いたしました。
BigQuery の処理制限を回避する手段を検証し、コスト効率の高いアーキテクチャを構築。マルチクラウドの推進に貢献！
はじめに、既存環境に蓄積されているログの Google Cloud 環境への転送、その後のデータ投入する方法のアーキテクチャ検討および PoC を実施いたしました。
Google Cloud 環境へのデータ転送は、ジョブ実行のサービスを利用。BigQuery へのデータ投入については、検討の結果、バッチ処理を定期的に実行するアーキテクチャとしています。なお、 BigQuery のデータ投入をバッチ実行で行なう場合、抵触しやすい制限があったことから、回避策をお客様と協議し、PoC を繰り返し行うことでステータスを管理する仕組みの導入やバッチ内容を改善。最適なアーキテクチャのご提案をいたしました。
なお、バッチ実行で処理しきれない状態になった場合を想定し、ストリーミング実行する方法についての PoC も実施。その場合の BigQuery に対する挙動と、バッチ実行での制限を回避可能であることを確認し、今後の規模拡大を見据えた BigQuery へのデータ投入方法のご提案をいたしました。
データを BigQuery に格納するための最適なアーキテクチャのPoCを実施できたことで、分析基盤構築も見据えたマルチクラウド化の検討が推進することにもつながりました。
今後もアイレットはマルチクラウドの幅広い知見・開発力を生かし、お客様のビジネス成長に貢献してまいります。
（使用プロダクト）
- BigQuery
Credit
クライアント株式会社サイバーセキュリティクラウド
