クラウド技術を活用したリアルタイム広告 Logicad の入札・配信・ログ解析 #awssummit
•
21 likes•7,930 views
AWS Summit Tokyo 2013 にて発表した資料です。 http://www.awssummittokyo.com/ 『クラウド技術を活用したリアルタイム広告 "Logicad" の入札・配信・ログ解析』 近年のインターネット広告では、複数の広告会社が1ページビュー毎に0.1秒間のオークションに参加して広告を配信するリアルタイムビッディングという取引が行われ、日本国内でも取引が1秒間に数万件以上に及びます。 このようななか、弊社もDSP「Logicad」にて参画し、最適な広告を高速に処理して配信するため、オンプレミスサーバーと AWS を Direct Connect で組み合わせてシステムを構築しています。 またオークション取引や広告配信における大量ログをRabbitMQ で処理しAmazonS3、EMR、DynamoDB等を活用して分析しています。 本セッションでは、リアルタイムな広告配信の仕組みと活用している技術についてお話させて頂きます。
クラウド技術を活用したリアルタイム広告 Logicad の入札・配信・ログ解析 #awssummit
- 1. クラウド技術を活用した リアルタイム広告 Logicad の 入札・配信・ログ解析 ソネット・メディア・ネットワークス株式会社 安田 崇浩 June 5, 2013 AWS Summit Tokyo 2013
- 2. 自己紹介 氏名: 安田 崇浩 所属: ソネット・メディア・ネットワークス株式会社 2008年くらいから AWS を仕事で活用 2010年くらいから インターネット広告システムを開発
- 7. インターネット広告 1
- 8. インターネット広告 2
- 9. インターネット広告 3
- 10. インターネット広告 4
- 11. インターネット広告 5
- 12. インターネット広告 6
- 14. リアルタイムビッディング (RTB) 1 ページビューごとに 複数の広告主(広告会社) で そのウェブサイトの広告枠の 表示権をオークション オークション開始から入札まで 0.1 秒 最高入札額の広告が配信
- 15. RTB 1
- 16. RTB 2
- 17. RTB 3
- 18. RTB 4
- 19. RTB 5 PV から広告表示まで 0.1 秒
- 20. RTB によって 広告主 ウェブサイトに訪れた特定の人に配信したい！ → 特定の人にのみ入札 → 広告効果につながる ウェブサイト どの広告を表示すれば、一番収益が上がるのか？ → 最高入札した広告を配信 → 広告枠の収益増加
- 27. RTB 取引の流れ
- 30. RTB 入札までの流れ Bidリクエストの解析 → 1秒間に数万件 KVS へ ユーザー情報の取得 → 3億レコード KVS へ 消化予算の取得 入札を判断し、Bidレスポンスを返却 → 0.1秒以内 要求性能が厳しい
- 31. 要求性能を満たすために 1秒間に数万件のBidリクエストの処理 CPU性能が高いサーバー 性能計測: ContextSwitch, Interrupt, L2, L3 Cache, NIC メモリ, IO は不要 3億件のユーザー情報を1ミリ秒以内で応答 SSDを活用したKey Value Store ファイルシステムを介さずSSDをBlockDeviceで利用 1サーバーに複数本のSSD, CPUは不要 局所的な性能のためにオンプレミスサーバーを活用 AEROSPIKE
- 32. AWS の使いどころ
- 34. 広告配信ログの蓄積・解析 広告配信サーバーはログを Queue サーバーへ put Queueサーバーは RabbitMQ を利用 Worker がログを受け取り S3 へアップロード 低コスト、高信頼性の S3 EMR hive で集計・解析
- 35. 広告配信設定Webアプリ ELB, 複数EC2 instances, Multi-AZ RDS 構成 単一障害点なし
- 36. 広告主向けレポートWebアプリ ELB, 複数EC2 instances, DynamoDB 単一障害点なし DynamoDB のデータは、S3 から EMR が定期作成
- 38. AWS Direct Connect VPC と データセンターを専用線で結ぶサービス
- 39. AWS Direct Connect の利点 Latency EC2 <- Internet -> Server RTT 15ms EC2 <- Direct Connect -> Server RTT 4ms 4x Cost Internet Out $0.201/GB 1TBダウンロード 約2万円 Direct Connect Out $0.045/GB 1TBダウンロード 約4500円 1/4 Security インターネットを介さない VPN接続時の暗号化不要。オーバーヘッドなし
- 40. AWS Direct Connect に向いている EC2 と オンプレミスサーバーの組み合わせ Hadoop 等 解析サーバーと S3 の大量データのやりとり
- 41. つなぐのが面倒？ Direct Connect 付きハウジングサービス 株式会社ビットアイル BI-Direct Access for AWS http://www.bit-isle.jp/service/datacenter/network_bida.html
- 42. データセンタ間通信 Latency, RTT が大きい スイッチを介したサーバー間: 0.1 ms データセンター間: 4 ms 40x RTT 4ms の場合、1秒間に250回 Msg送信可能 HTTP Keep-alive
- 43. 1秒間に1,000回 Msg送信するには？ 複数コネクション RTT が 4 ms の場合、4 コネクション必要 RTT が 1 秒の場合、1000 コネクション必要 RTT が増えるごとにコネクション数が必要
- 44. 1秒間に1,000回 Msg送信するには？ 多重送信 1コネクションで複数の Msg を同時に送信 非同期で受信確認 ack を受け取る Latency に縛られずに Throughput に近い Msg数の送信が可能 一貫性、トランザクションに注意 HTTP Pipeline
- 45. Open Source Message Broker Advanced Message Queuing Protocol (AMQP)を実装 実装言語: Erlang Client: Java, Ruby, Python, .NET, PHP, Perl, C/C++ ... 多重送信が可能 www.rabbitmq.com
- 46. RabbitMQ Consumer は Queue に TCP 接続後、 while ループで待つ Producer が Queue に Message を投入 Consumer は Message を処理
- 47. RabbitMQ Queue と Consumer の 1 接続で多重送信が可能 データセンタ間の通信に最適 AWS内でも Availabity Zone, Region 間の通信に最適
- 48. Direct Connect, RabbitMQ in Logicad データセンター間の接続は Direct Connect データセンター間のデータ送受信は RabbitMQ を利用
- 49. 最近のリアルタイムなインターネット広告 クラウドとオンプレミスサーバー Direct Connect と RabbitMQ