500+のサーバーで動く LINE Ads PlatformをささえるSpring

Editor's Notes

1. LINEの渡邉直樹が「500+のサーバーで動くLINE Ads PlatformをささえるSpring」というタイトルでお話させていただきます。よろしくお願いします。
2. twtterは hackmylife というIDで活動していますが、社内の人はめんどくさがって省略して白米と読んでます。 割と気に入っています。 Linvedoorni入社したら、会社のほうがコロコロ変わって気がついたらLINEいました。 ずっと広告やっていたわけではなくて、B2Cの開発を主にやっていたんですが、2017年からLINE Ads Platformの開発をしています。
3. まずは広告プラットフォームとはなんぞや？という話を軽くして、 LAP、あ、これLINE Ads Platformの略です。弊社サービス名を三文字に略すのがとても好きです。 社内でも賛否両論あるんですが・・・。　LINE Ads Platfromの中でspringどう使われているか解説して、 最後にLINE全般的な技術的な話題を少しする予定です。
4. LINE Ads Platformではこのような形で広告を表示しています。 LINEアプリのタイムライン、newsタブをはじめ、LINEマンガなどのファミリーアプリ、一番右側のLINE BlogはWeb pageなんですが、こういった場所に広告が表示されています。
5. LINE Ads Platformの特徴は、LINEに広告を出稿できる唯一のプラットフォームで、月間で7000万人もののオーディエンスにリーチできる、国内最大規模のプラットフォームになっています。プラットフォームの特徴としてはProgrammatic Advertising をサポートしていることです。
6. というのは日本では運用型広告と言った言い方が主流だからです。 この方式には、いくつか特徴があります。 １つ目の特徴は、リアルタイムに広告主が予算や配信対象を変更することができることです。運用型という名前がしっくりきますね。 ２つ目の特徴は、成果型報酬です。つまりclickや動画の視聴など、成果が上がって初めて課金される形式です。 ３つ目が一番特徴的なところで、リクエストを受けるたびに、内部でオークションを開催し、広告を選ぶことです。 まず、このオークションの部分を簡単にですが、ご説明したいと思います。
7. オークションプロセスには２つのプラットフォームが登場します。SSPとDSPです。 SSPはsupply side platformの略で、広告が表示されるメディア側の管理をしています。みなさんが広告枠があるページにアクセスしたときに、一番初めにメディアから、SSPにリクエストが飛びます。SSPはリクエストを受けると、表示できる広告の形式の条件と一緒に、DSPに広告リクエストを送ります。 DSPはdemand side platformの略で、広告を管理しています。 SSPからリクエストを受けると、DSPは内部的にオークションを行い、オークションに勝った広告を返します。 このオークションに勝利した広告、この場合25円の広告がみなさんに表示されるわけです。
8. 広告プラットフォームでは３タイプのプレイヤーが存在して、それぞれ違ったニーズを持っています。 １つ目は広告主です。広告主は費用に対する効果を最大化したいと考えいます。 ２つ目はメディア。メディアは表示した広告の売り上げを最大化したいと考えています。ちなみにここに書いてあるeCPMというのは、広告を1000回表示した時に利益を表します。 最後にオーディエンスつまり、ユーザーです。オーディエンスはサイトの使い勝手を損なわないことや、広告が出るならば、自分にとって興味があるような広告が出たほうが良いと考えるのではないでしょうか？ このようなニーズを最大限に満たす必要があります。
9. こう言った三者三様のニーズを満たしているか判断するための、なんらかの指標が必要です。
10. そこで指標の一つとして使うのがCTRです。CTRはとある広告がクリックされた回数を、表示した回数で割ったものです。 広告主にとっては、目的を達成を図る数値してコンバージョン率（CVR）がありますが、コンバージョンの為には、まずは広告をクリックしてもらうことが目標となります。 メディアにとっては、先ほど申し上げたように、最近はクリックなどの成果報酬型が主流ですから、クリックが売り上げに繋がります。 最後にオーディエンスにとっては、興味を持ったかどうかのバロメータとして使えます。 他にも様々な指標を使っていいるのですが、一番横断的に使えるものとして今日はCTRが特に重要で、かつこれを事前に予測する必要があります １０min
11. CTRを予測するには、色々な特徴量から推定値を出して行きます が、このあたりの話はしだすときりがないのと、11/21のdeveloper dayで話す予定なので、
12. 今日は別の話をします
13. せっかくのSpring festなのでSpringの話をしましょう
14. Real timeでオークションしてるってことと、それを50ms以内に行う必要があるということ、3つ目は今日はあまり関係ないのですが、広告プラットフォームとって大事なのはCTRを予測することで、MLがたくさん使われています
15. 12分
16. 50msを維持する工夫なんかも入れて話して行きましょう
17. 全体のざっくりしたarchitectureです。 まずはさっき見ていたSSPとDSPのあたりから構成を見て行きましょう。
18. CMSで設定された情報は、数分おきにsync apiというのが実行されて、データをjsonでもらってcaffeineでメモリに持っている。 Auction -> AsyncTaskExecutor -> 帰ってきたのを待ってまたオークション Waterfall -> 順次投げて帰ってきたところで終了 15分
19. 広告主が登録した広告は一旦MySQLへ。これ読むと遅いので、ファイルとして配信して、全部メモリにロードしている。
20. 18分
21. 20min
22. LINEがOSSと試打しているArmeria。netty baseの非同期RPC/API。早い。
23. 他はデフォでも基本的にはいい感じに動く maxGCPauseMillisは200デフォルトだったと思うのでそこだけ調整
24. 10ms以内に治るって聞いた！ 24min
25. 24min
26. LINE tagはjsタグ。色々なサイトに貼れる。appのイベントは別の経路だけどくる。 めっちゃくる。なので、Nginxで受けてログに落とし、Fluentdでkafkaへ。 反対側ではkafka consumer(strems)が受け取って、即使えるようにredisに、永続化するのにHbaseに書いてる。 26min
27. 27min
28. リクエストを受け取ったらkafkaに書く。大量のトラフィックあってもkafkaは高速で安定しているので心理的に安心。
29. 色々ありすぎて把握できないw 250台以上は実はここが持っている。 Hadoopが実は100台ぐらいある prestoは最近使ってなさそう Sparkはよく使ってるっぽい。 ES -> kibanaにアクセスログ流れるのがとても便利 担当のdev leadと先日チャットで話たら、 MesosとAuroraで監視とauto-scalingしてる！って猛プッシュされたので一応書きました。
30. 30min
31. 35min
32. 38min
33. 40min