SmartNews Ads System - AWS Summit Tokyo 2015
53 likes17,076 views
AWS Summit Tokyo 2015にて弊社Engineer小宮・蘭が発表した内容になります。 SmartNews は Machine Learning を技術の中核に据える会社であり、これは広告のシステムに関しても同様です。SmartNews ではデータサイエンティストが思う存分腕を振るうための環境を作ることが Product の成功につながると信じています。具体的には、データサイエンティストが「探索（exploration）」と「活用（exploitation）」のイテレーションを高速で回していける環境を作る必要があります。 そのために SmartNews が行っている取り組み、技術的な仕組みを SmartNews Ads のシステムを掘り下げながらご紹介いたしました。
![[要約] Building a Real-Time Bidding Platform on AWS #AWSAdTechJP](https://cdn.slidesharecdn.com/ss_thumbnails/2016rtbwhitepaper-160310091325-thumbnail.jpg?width=560&fit=bounds)
More Related Content
What's hot (20)
Viewers also liked (20)
Similar to SmartNews Ads System - AWS Summit Tokyo 2015 (20)
More from SmartNews, Inc. (6)
SmartNews Ads System - AWS Summit Tokyo 2015
- 1. SmartNews のデータサイエンティストの 高速イテレーションを支える広告システム SmartNews, Inc. KOMIYA Atsushi Yuyang Lan
- 2. Agenda 1.Introduction 2.SmartNews Ads and AWS 3.Data science with AWS 4.How we build our ad system with AWS 5.Current working
- 3. Agenda 1.Introduction 2.SmartNews Ads and AWS 3.Data science with AWS 4.How we build our ad system with AWS 5.Current working
- 5. 月間アクティブユーザ数 No.1 5 月間のアクティブユーザー数が417万超*で国内No.1 100% 75% 50% 25% 0% MAU 417万人 A CB ニュースアプリとの比較 *Nielsen Mobile NetView 2015年3月
- 6. 月間総訪問時間 No.1 6 総利用時間 (千時間) 1位 13,350 A CB 2位 3,067 4位 4,116 3位 4,343 1,335万時間 SPENDS *Nielsen Mobile NetView 2015年3月 7:00 12:00 19:00 アクセスのピークは1日3回 ニュースアプリとの比較* 0:00 24:00
- 7. 米国ニュースアプリで No.1 7 2014年10月1日リリース 米国AppStore/Google Playの2大 ストアにてニュースアプリでNo.1* を記録 全世界で累計1200万DLを突破！** *App Storeより2014年10月6日現在。 Google Playより2014年11月14日現在。 SmartNews2.0は2014年10月1日リリース。 **2015年5月18日リリースより。 No.1 NewsRank
- 9. アルゴリズムによる記事表示 9 We’re Machine Learning Company
- 10. Agenda 1.Introduction 2.SmartNews Ads and AWS 3.Data science with AWS 4.How we build our ad system with AWS 5.Current working
- 11. SmartNews Ads 11 Standard Ads Premium Movie Ads
- 12. • 大量の広告リクエストをごく短時間で処理する Ad server • 広告のクリエイティブ画像を効率よく配信する仕組み • ログデータを分析して、ユーザと広告をマッチさせる 配信ロジック • 広告主別・メディア別のパフォーマンスを計測・表示する レポート機能 • 広告入稿と審査をするための管理コンソール、などなど 広告システムに求められるもの 12
- 13. その広告システムを支えるインフラ 13 We built it on Amazon Web Services
- 15. • インフラ専任のエンジニアはいない • ≠ インフラに詳しいエンジニアがいない • 少数精鋭の組織 • 本当に大事なところに注力したい • 外部サービス・リソースを有効活用 なぜ AWS を利用するのか 15
- 17. Agenda 1.Introduction 2.SmartNews Ads and AWS 3.Data science with AWS 4.How we build our ad system with AWS 5.Current working
- 18. • 広告システムにおいても、様々な機械学習・最適化タスクが存在する • CTR / CVR prediction • Creative optimization • CPA optimization • Budget smoothing • Ad allocation optimization • User profiling, etc. • データサイエンスによる Iterative な改善が求められる 広告システムとデータサイエンス 18
- 19. • 広告システムにおいても、様々な機械学習・最適化タスクが存在する • CTR / CVR prediction • Creative optimization • CPA optimization • Budget smoothing • Ad allocation optimization • User profiling, etc. • Iterative なデータサイエンスによる改善が求められる 広告システムとデータサイエンス 19 A/B testing
- 21. 数字でみる広告システムのデータサイエンス 21 4+ running tests / day 10+ times testing / month
- 22. 1. 仮説を立てる • ログデータの分析 2. 準備・開発する • 実験計画・ロジック実装 3. A/B テストを実施する 4. 結果を集計・統計的に解釈する • レポーティング・仮説検定 5. 意思決定をする A/B テストのサイクル 22
- 23. 1. 仮説を立てる • ログデータの分析 2. 準備・開発する • 実験計画・ロジック実装 3. A/B テストを実施する 4. 結果を集計・統計的に解釈する • レポーティング・仮説検定 5. 意思決定をする A/B テストのサイクル 23 長期間のログデータをいろんな軸で さくさく集計したい
- 24. • やりたいこと • 過去のログを長期間 って、いろいろな集計・分析 をしたい • 課題 • ログは日毎に増大していく（それなりの規模） • 途中でログの項目が増えることもある • 投げるクエリは目的によって大きく異なる ケース１：ログデータの分析 24
- 25. • S3 + EMR (+ Presto) で解決！ • ログデータの蓄積に S3 を利用する • Presto on EMR で S3 上のログデータに対してクエリ を投げる • ログ項目の追加にも、スキーマ変更は比較的柔軟 ケース１：ログデータの分析 25
- 26. 1. 仮説を立てる • ログデータの分析 2. 準備・開発する • 実験計画・ロジック実装 3. A/B テストを実施する 4. 結果を集計・統計的に解釈する • レポーティング・仮説検定 5. 意思決定をする A/B テストのサイクル 26 新しい配信ロジックを production で 試してみたい
- 27. • やりたいこと • 広告配信の新しいロジック（予測モデル）を production で試してみたい • 課題 • 複雑な配信ロジックほど時間計算量は大きくなる傾向にある • 大量のリクエストをごく短時間でさばかなければならない Ad server には 重いタスク • パフォーマンス改善には相当の時間がかかり、実装も総じて難しい • 精度が向上するか断言できない機能の準備に、時間をかけ過ぎたくない ケース２：配信ロジックの実装 27
- 28. • EMR (+ Hivemall) + DynamoDB で解決！ • EMR (と Hivemall) でお手軽に予測モデルを構築 • 広告の配信を制御するデータを予測モデルから事前計算し、 あらかじめ決められたデータ構造で表現＆ DynamoDB にストア • Ad server から参照＆広告配信を制御する • DynamoDB のレイテンシは十分に小さい (数ms) ケース２：配信ロジックの実装 28
- 29. • データサイエンティスト的には、 • 時間・空間計算量的に高性能が求められる Ad server の 実装に頭を悩ませる必要がない • 自身のタスクである分析・予測モデル構築に集中できる • リアルタイム性が損なわれるため、精度が低下してしまう欠 点がある • A/B テストによって新しいロジックに優位性があると判断 されれば、Ad server に最適化して組み込まれる ケース２：配信ロジックの実装 29
- 30. 1. 仮説を立てる • ログデータの分析 2. 準備・開発する • 実験計画・ロジック実装 3. A/B テストを実施する 4. 結果を集計・統計的に解釈する • レポーティング・仮説検定 5. 意思決定をする A/B テストのサイクル 30 A/B テストの状況を手軽に確認したい
- 31. • やりたいこと • 実施中の A/B テストの状況を手軽に確認したい • 課題 • 都度 SQL を用意して集計 → Excel でレポーティング、 というのは手間がかかり過ぎる • レポート閲覧用の Web アプリケーションを作るのも 開発＆メンテナンスコストがかかる ケース３：A/B テスト結果のレポーティング 31
- 32. • Redshift (+ Chartio) で解決！ • A/B テストすべてにおいて、共通の集計軸とメトリクス（複数）を利用する • 毎時に集計バッチを実行して、ログデータから A/B テストのレポートを Redshift 上で集計・作成する • A/B テストの結果を Redshift から取得して表示する Chartio ダッシュボードを用 意する • 集計軸とメトリクスが同じなので、異なる A/B テストでも同じダッシュボード を再利用できる ケース３：A/B テスト結果のレポーティング 32
- 33. • SmartNews の広告システムは AWS を活用して作られている • 本当に大事なところ（事業）に集中するため、 マネージドサービスを積極的に活用する • データサイエンスの高速な iteration を実現するために、 AWS の各種サービスのよいとこどりをしている ここまでのまとめ 33
- 34. Agenda 1.Introduction 2.SmartNews Ads and AWS 3.Data science with AWS 4.How we build our ad system with AWS 5.Current working
- 35. When We Make Tech Choices
- 36. • Speed (50ms MAX latency • Availability • Scalability • Operationally “Raku” • Decouple-able • People-Friendly (Engineers, Data Scientists, ..
- 37. System Overview
- 38. Speed Avalaibility Scalability People Friendly Decouple- able Operationally “Raku” HBase ★ △ ★ ⚪ ⚪ △ Redis ★ △ △ ★ ★ ⚪ Memcached ★ ⚪ △ ⚪ ★ ⚪ Cassandra ★ ★ ★ ★ ★ △ Why DynamoDB
- 39. Why DynamoDB Speed Avalaibility Scalability People Friendly Decouple- able Operationally “Raku” HBase ★ △ ★ ⚪ ⚪ △ Redis ★ △ △ ★ ★ ⚪ Memcached ★ ⚪ △ ⚪ ★ ⚪ Cassandra ★ ★ ★ ★ ★ △ DynamoDB ★ ★ ★ ★ ★ ★
- 40. Why DynamoDB No Single Engineer Needed To Operate It
- 42. Audience Data in DynamoDB device_id media attr_1 attr_2 scores tags … abtest_label abtest_group … Hash Key Range Key map<campaign, score> score set <tag> d101 SN B {123=>3.5} … watabe_test control d102 APP_2 2.5 d102 SN A … … {akb48} … … d302 SN … … {car, hourse} watabe_test house_targeting d888 SN … … … … … …
- 43. Audience Data in DynamoDB device_id media attr_1 attr_2 scores tags … abtest_label abtest_group … Hash Key Range Key map<campaign, score> score set <tag> d101 SN B {123=>3.5} … watabe_test control d102 APP_2 2.5 d102 SN A … … {akb48} … … d302 SN … … {car, hourse} watabe_test house_targeting d888 SN … … … … … …
- 44. Audience Data in DynamoDB device_id media attr_1 attr_2 scores tags … abtest_label abtest_group … Hash Key Range Key map<campaign, score> score set <tag> d101 SN B {123=>3.5} … watabe_test control d102 APP_2 2.5 d102 SN A … … {akb48} … … d302 SN … … {car, hourse} watabe_test house_targeting d888 SN … … … … … …
- 45. System Overview
- 46. EMR • Yarn + Hive + Spark + Python* + alpha • All data managed by Hive, stored in S3 • Store no states inside the cluster • HDFS is used as a tmp/cache layer (dfs.replication = 1) • Use it elastically • Scale-out for large jobs • Multiple small clusters for difference purposes
- 47. Ad Hoc EMR Cluster When Need Do Experimental・Ad-hoc Data Work (e.g. New Machine Learning Experiment, ..)
- 48. Ad Hoc EMR Cluster
- 49. Write directly from Hive to DynamoDB
- 51. Sometimes you even don’t need to distribute COST $1.0
- 52. System Overview
- 53. Reporting • Hourly reporting in Redshift • Query raw log in S3 through Presto • Query realtime data in Kinesis through Spark Streaming • Charting using Chartio
- 54. We Using Both Redshift and Presto Redshift Presto Purpose Business Report General Data Core Structured Data Data in S3, Tables in RDS, etc. Stable Good OOM sometimes Occasionally down is OK Performance Good Good but high variance User More Business side More Engineering side Extensible No Custom Patch , Functions, Connectors
- 56. Agenda 1.Introduction 2.SmartNews Ads and AWS 3.Data science with AWS 4.How we build our ad system with AWS 5.Current working
- 58. Online Learning based on Kinesis + Spark
- 59. The Last
- 60. Our Wish List • Lambda Available to Tokyo Region • Better way to control DynamoDB write capacity • Time-to-live support in DynamoDB • UDF in Redshift
- 61. Thanks! We’re hiring! http://about.smartnews.com/ja/careers/ iOSエンジニア / Androidエンジニア / Webアプリケーションエンジニア / プロダクティビティエンジニア / 機械学習 / 自然言語処理エンジニア / グロースハックエンジニア / サーバサイドエンジニア / 広告エンジニア…