はてなブックマーク

本記事は、データ品質に関する記事です。 最近、業界を問わず、様々な企業のエグゼクティブやDX推進担当の方から、データガバナンス・データマネジメントに関する相談を受けることが多くあります。相談の中で、実際に議論が白熱するのが、ガバナンスやマネジメントのやり方というよりは、ガバナンスやマネジメントを整備した上でのデータ活用を進めていくユースケースをどう生み出していくかという話と、よりよい効果を生み出すためのデータ品質に関する話です。後者については、例えば、データガバナンスやマネジメントは一定の枠組みを導入したが、そもそもその運用においてデータの品質についてはどう考えていくものなのか、品質の不足によってどのような問題が起こるのか、何をメトリクスとして持つべきなのか、とよく聞かれます。本記事は、データ品質のそれらポイントとその整備・管理の実践に関して解説してみたいと思います。 データは企業の変革の

記事内では、プライバシー保護の代替技術として、”Federated Learning of Cohort” が紹介されている。Federated Learningに関しては、以前、解説記事を書いている。 Federated Learning は、機械学習の分散実行を可能にする手法だ。これにより、個々人のプライバシーの担保をし、かつ個々の企業のデータを共有することなく、広告プラットフォームの精度向上を行うことができるようになる。技術的には非常に高度な内容になり、Google以外の企業が採用していくには多少時間がかかるかもしれない。とはいえ、脱Cookie 時代における次世代の広告配信におけるコア技術となりうるものと言える。 脱Cookieのトレンドについて Cookieは、長年、インターネットにおける顧客とのインタラクションの基礎をなしていた技術だ。中でも、3rd Party Cookieは

私ですが、インターネット企業における研究開発のグローバルリードという仕事から、マネジメントコンサルティングの業界に14年ぶりに戻ってきて、久しぶりにコンサルティングワークの楽しさというのも感じながら、短期的には COVID-19 危機対策というテーマで、特にAI、ビッグデータ、DX、スマートシティ等での領域で経済・産業への貢献という仕事に没頭し始めています。 14年前と異なるのは、コンサルティング業界におけるアプローチや手法ももちろん進化かつ多様化していて、例えば、アジャイルメソッド的な進め方や、デザイン思考的なアプローチや、キャンバスのようなツールも多くコンテンツが世の中に普及しています。私も過去に以下の記事を書きました。 これらの比較的新しいトピックももちろん、現代の様々なイシューを取り組む上で登場してきたため、そのコンセプトを知り、実践を行っておくことが重要ですが、いつの時代も変わら

データ拡張（Data Augmentation）について書きます。データサイエンスの中でも、昨今注目を集めているテクニックであり、データ水増しという表現をされることもあります。この手法は、機械学習における普遍的な課題である過学習（Overfitting）に関わり、またなぜ深層学習（Deep Learning）が学習し、高いパフォーマンスを出せるのかという謎に近づく手がかりでもあります。 データ拡張　データ拡張は深層学習のモデルを構築したい、しかし、十分なトレーニングデータがないというような際に、有用なテクニックです。複雑なモデルをトレーニングするには、通常沢山の量のデータを必要とします。しかしながら、データが少ない場合においても、データの量を増やしていくテクニックを使うことで十分問題なくモデルを訓練させることができるケースがあります。 画像処理分野でのデータ拡張データ拡張は、元のトレーニン