と。

統計学は趣味、マーケティングは義務。

Data Driven Developer Meetup Vol. 6に参加しました。

05_勉強会参加録

休みをとったので参加しました

3連休を旧知の友を訪ねる旅行に費やした状態で労働はできないので休みをとったところちょうどいいタイミングでData Driven Developer Meetupが開催したので参加してきました。

サイトはこちら。

d3m.connpass.com

タクシーのドライブレコーダーでScene Text Recognitionする

JapanTaxiの高橋文彦さんの報告。JapanTaxiは日本最大のタクシーアプリを開発している企業で有名です。

特に都内のタクシーは1週間に都内の道路(車が通れる道全体)の9割を網羅するらしく、最近は自動運転スタートアップとも連携しながら、自動運転に関するデータを収集したり、タクシー社内のハードウェアの開発をしたりと、あらゆることをやっているようです*1。

今回はその中でもガソリンスタンドの料金をドライブレコーダーの映像から検出し、認識するというタスクについてご紹介いただきました。

注目すべき実装はMulti Task Modelingというタスク方針で、今回の事例ではドライブレコーダーの映像から「ガソリンスタンドの価格表示」を「検出」するタスクと、その価格表示から数字を「認識」するタスクを同時にこなすモデリングのようです。そもそも膨大なドライブレコーダーの映像から、ガソリンスタンドの価格表示画像を得られることは少ないので*2、この方針をとっているとか。

Multi task modelingについてはこちらの論文が詳しいようです。

あとはCTRとかCNNとか、聞いたことはあるがよく知らないみたいなところが多く、キャッチアップしなくては……と思っています。

メルカリ写真検索を支える技術

個人的にはBIチームが有名なメルカリの機械学習チームの千葉竜介さんの報告。メルカリでの機能の一つである「写真検索」を支える技術についてのご報告でした。

写真検索とは、ユーザが撮影した画像と似ている商品を、メルカリの最近3ヶ月間の出品物から似ている順にサジェストする機能です。「この植物良いけど名前知らない」とか「お気に入りの食器が壊れたけど同じものがほしい」とか、そういう時にはその場で写真を撮るだけでにた商品ラインナップを見ることができる、という便利な機能を実装したようです。すごい。

百聞は一見に如かずってことで、動画を見ると良いでしょう

www.youtube.com

今回の報告はこれの実装方面のお話でした。今や基本的なインフラになったAWSとGCPのマルチベンダーを使い分け、データの集積やインデクシングをAWS、その他

kubernetesとかLykeionとかは完全にキャッチアップしきれていません。つらい。というわけでメルカリのTechブログから当該内容の記事のリンクをもってきました。

ただ、コンテナごとに処理を分けていることで、処理の拡張や障害発生時の復旧などがしやすい(耐障害性が高い)など、1日に数千万の画像を扱うメルカリならではのマルチクラウド運用らしいということはわかりました。

このアーキテクチャ周り、もっとちゃんと理解したいので、勉強しておきたいところです。。。

Lightning Talk

外資ナチュラルコスメブランドでローカルサイドからCRMデータの獲得にもがいている話

最近「機械学習エンジニアの聖地」と勝手に呼んでいるエムスリーで学生時代働き、現在は外資の化粧品メーカーに所属しているMinoruOdaさんのLTです。

メーカー系(というかIT系以外)のデータに対するリテラシーの格差・ドメイン知識との擦り合わせなど、苦しい場面をもがきながら楽しみを見出しているお話でした。うらやましい。

懇親会でもお話したり、帰り道でもいろいろお話を伺いましたが、「なんでも裁量をもって進められる上、これまでやってこなかったことをやると評価される」反面「お互いがお互いのリテラシーキャッチアップに苦労している」というつらみには「わかりみ」しかないなと思いました。

Lamdbaの連鎖で作るRecommendEngine

資料はこちら

事業会社で働く樋口雅拓さんによる、レコメンドエンジンを作るお話です。

今回の事例は、サービスを利用するユーザが欲しがりそうな記事を推薦するシステムの実装についてでした。

k-means++を使ったクラスタリングを行って10個のセグメントに分解し、セグメント別のCTR*3を計算して、その順でサジェストをするというシンプルなレコメンドエンジンを、AWSのLambdaを使って直近10件の閲覧履歴を自動的にDBに保存し実装しているようです。

これもアーキテクチャの紹介で、私の知識が全く追いつかず、クラスタリングの話しかわかりませんでした。くやしい。

まとめ

今回の登壇者は、みなさん会社では「なんでも屋」らしく、データ分析だけでなくその環境の実装・保守・改善を一手に担う人が多かったように思います。

常にキャリアを考えている身としては、こういうゼネラリスト的な人材がとても眩しく思う反面、そうなるために必要な要素が自分に足りていなすぎて非常に焦ってしまうという状況にあります。

……今からこれらを全部やるとなると厳しいのですが、それでもやっぱり手を動かし続けたいモチベは強いので、こういう勉強会に積極的に参加して、キャッチアップしたり情報交換したりしたいですね。

いずれLTレベルでもなにかお話したいところです。とは言え自社での事例紹介なんてものはほぼできないのですが……やるならポエムじゃなくやりたいんですがね。

出席レポでした。

*1:全国のタクシーの1/3をアプリで呼べるらしい

*2:きぬいとの解釈が正しければ、映像データ全体の3%程度らしい。その上画像の大きさも小さいので、検出・認識は高度なタスク

*3:Click Through Rate。表示された回数のうち、クリックされた回数の割合。デジタルマーケティングではよくKPIとして使われる