『SUUMO』のレコメンドシステムは事業において重要な存在となっており、常に安定稼働を事業から求められていました。そのため、継続的にシステムの安定稼働に向けた対応を実施した結果、インフラ起因の課題については一定解決することができました。しかし、インフラ課題の解消に伴い、データ品質を管理する上での課題が顕在化していました。
システムの中身は下記の図のようになっています。機械学習を用いたシステムなので推論や学習ごとにパイプラインがあり、システムの至る所でデータが使われている複雑な構成です。データ自体は日々連携される物件マスターデータやログデータ、それを用いたバッチが生成するデータなど、様々なものが存在しています。そのため、大きく以下3つが課題となっていました。
課題① そもそものデータの種類や量が多く、データ定義がないことも多い
課題② バリデーション要件は、レコメンドのモデル要件によって異なり、運用中に要件変更も発生するため、初期開発時点でバリデーション要件を完全に確定させることが不可能
課題③ APIやバッチは50本以上あり、システム個別で検知機能を開発していては導入負荷が膨大になる

このような困難な中で、データ品質を担保することへのチャレンジが本プロジェクトのテーマです。