「SQLを使った監視でデータ基盤の品質を向上させる - MonotaRO Tech Blog」
こんにちは、データ基盤グループの吉田(id:syou6162)です。データ基盤グループでは安定してデータを利用できるように様々な取り組みを行なっています。本エントリでは、データ品質に問題がある場合にすぐに気付けるようにしたSQLによる監視の仕組みを紹介します。 背景 SQLを使った監視基盤の構築 実際の監視項目例 他チームがdailyで転送しているデータがバッチの失敗により遅れていないか BigQueryのエラーレートが急激に増加していないか 承認済みビューの設定が意図せず消えていないか 今後の展望 背景 データ基盤の運用をしていると、日々様々なトラブルと向き合う必要があります。例えば、以下の…
Webページ
コンテンツ文字数：0 文字
見出し数（H2/H3タグ）：0 個
閲覧数：120 件
2021-08-24 11:01:38
オリジナルページを開く
タグ一覧