2016-11-08

Cloudera World Tokyo 2016 に参加してきました。

　この日（2016-11-08）は以下のリンクのイベント（ Cloudera World Tokyo 2016 ）に参加してきましたので、そのことについて書こうと思います。

www.clouderaworldtokyo.com

Cloudera World Tokyo 2016 の総括（というより個人的感想）。

　まずは感想から。

　そんなに技術技術ガッツンガッツンなセッションに当たらなかった（おそらくそういうセッションもあったのだとは思いますが）ので、本当に個人の感想的なものです。

　まずは、月並みではございますが、 Hadoop生誕10周年おめでとうございます！ついにこのプロダクトも一区切りまできましたね。

　今回の Cloudera World Tokyo 2016 はまさにHadoop生誕10周年を祝う場でとして大成功なイベントだったのではないでしょうか。黎明期の Hadoop から一貫して高い技術力でそのディストリビューターとして存在感を市場に示してきた Cloudera さんですが、思えばわたしが Cloudera さんのイベントにはじめて参加したのは2011年06月の Hadoopエンタープライズソリューションセミナーだったようなので5年超も前のことになるようです。Hadoop はもちろん Cloudera さんもこのときのイベントから比べると隔世の感があります（わたしのブログの書き方もだいぶ様変わりしたもんだな、と）。まさに月日は百代の過客。当時、 Cloudera といえばわたしの中では嶋内氏と川崎氏のお二方のイメージが強かった（お二方が Cloudera そのものだった感が個人的にはあります）ものですが、今やスタッフの方々も増え会社の成長が第三者からみても明らかに見えるところにはお世話になったことのある者としても感慨の深いものを感じます。当時から川崎氏のHadoopトレーニングは懇切丁寧でネ申と言われていてそれは今もいい意味でお変わりなくすばらＣですが、男子三日あわざれば刮目してみよとはまさに嶋内氏のためにあるような言葉で、当時マサカリ担いだ金太郎よろしく触れるもの皆きずつけるようなトッキョダイヒョトップランカ*1なマサカリ族だった氏がいまやセールスエンジニアといえば嶋内翔とその勇名を日本中に轟かせているのには、当時真っ二つに叩き切られてきっつー涙な経験をしたことがある一人として感慨の深いものを感じています。

参考（嶋内氏のブログ）：セールスエンジニアという仕事 - 科学と非科学の迷宮

重要なことなのでたっぷりと言っておきますが、とてもとても感慨深いものを感じています（これを読んだ嶋内氏の反応がこわいです。 gkbr です。大変恐縮です）。

　おっと、話が脱線しました。それくらいわたしの中では Cloudera と言えばお二方だったもので。わたしとしたことが感極まってむせび泣き、取り乱してしまいました。失礼いたしました。

　さて、すこし五月雨式にはなるのですが本イベントの個人的な感想を述べていこうと思います。技術ガッツンガッツンなセッションにわたしが当たらなかったこと（マサカリを投げられないための予防線です、恐縮です）、前述したようにHadoop10周年のお祝い色が強かったことから、以降の本イベントの総括（感想の色合い強し）は、

イベントの運営の仕方や、
Cloudera さんそのものについてわたしの個人的にもっている現在のイメージ、
そして本イベントから感じた Hadoop とそのエコシステムの今後

以上の3つの観点から自分本位な記録として書いていこうと思います。

　では第一に、イベントの運営ですが、このイベントの前の週に有料の Hadoop Summit 2016 Tokyo に実はわたしは参加していたのですが、このイベントの運営があまりにもひどくて辟易したということがあったもので、そちらに比べると、無料*2のイベントにも関わらず管理の行き届いたイベントだったのではないかな、と思いました。強いてマイナス面をあげるなら、キーノートで Cloudera さんの CTO Amr Awadallah 氏のお話がヒートアップ（データをオカズに何時間でも話せるアツい方なのだと思います。これもご愛嬌ですね）して時間がかなり押す一幕があったり、最近の技術系の大きなイベントは有/無料によらず見られる傾向だと思っていますが、このイベントでも類なくカメラマンが延々とカメラ音を響かせながら写真を撮っていた（こちらはどこのイベントに行ってもいいかげんにしてほしいものですが）のがうるさいなあと思った程度かな、といったところでした。それだけで済むことが素晴らしいとわたしは思っていて、一重に Cloudera さんが資料は一週間以内に当該イベントのページに公開されることをアナウンスされたりといったイベントの管理を徹底していたことによるところが大きいと思います。ちなみに個人的な俺得は別途先立って公開させていただいた日本の握力王新沼大樹さんを招いたトークイベントでこれでわたしの心はがっちりマンデー。掴みは完璧でした。ホントすばらＣ。

　二つ目、Cloudera さんそのものについてわたしの個人的にもっている現在のイメージの話をしてみます。そもそも Cloudera さんは嶋内氏が一人で日本のサポートエンジニアをやりはじめた当初から日本市場を米と同様に重要視しているという言葉を継続的にアッピールしてきたとおり、本当に日本の市場を獲得したい、日本でのプレゼンスを大きくしたいという意思をビンビン感じるなといったところですかね、と。さきほど引き合いにだした Hadoop Summit のホストは主に Horton Works さんがやっておられるわけですが、 Horton Works さんと比較した際に、圧倒的にその日本市場を獲得したいという気持ちのアッピールに成功している印象をわたしは受けています。ちなみにどんなところからそれを感じているかというと、たとえば本国の方のプレゼンテーションから見て取れます。モニターに投影する資料は事前にすべて翻訳が入っているところとかからですね（以前はわたしも変に尖っていたものでそんなものはいらんやろーなんて思っていたものですが、日本でプロダクトを売りたいわけなのですから、その国の言葉で伝えるというのはとても大事なことですよね）。翻訳、当たり前なんじゃね？と思う方いるかもしれませんが、わたしの知る限り、米に本拠地を置く企業が日本でプレゼンテーションを行う場合、同時通訳くらいはいれてくれたりしますが、資料は英語のままということが多いと思っています。Clouderaさんの場合、Clouderaさんが主体で行うイベントの場合、自分たちのプレゼンテーションは少なくとも、資料を毎回全部翻訳いれているので、そのあたり本気度が強いなというのをわたしは強く感じてますね。あとキーパーソンを本国から定期的に呼んでいる点もポイントして高いように思います。 CTO の Amr Awadallah 氏はもちろん、 Hadoop の生みの親である Doug Cutting 氏を定期的に呼ぶあたりからも日本を市場として Cloudera が大事に思っている本気度を感じます。まあ、わたしは第三者なので Horton Works さんにも助け舟を出しておきますが、 Horton Works さんも日本市場で本気で勝ちたいなら、競合である Cloudera さんのイベント運営は学ぶところが大きいと思いますよー、と書いておこうと思います。

　最後に Hadoop とそのエコシステムの今後的な話でいうと、ことここに限っては、 Hadoop Summit 2016 Tokyo の方が示唆に富んでいたように思いました。わたしは大したことはそちらのイベントについても書けませんでしたが一応、 Hadoop Summit 2016 Tokyo の総括はしてみています。以下にリンクをはっておきますので、興味があればお読みください。

参考（弊ブログ）：Hadoop Summit Tokyo 2016 の個人的総括

とはいえ、今回のイベントでも言われていたHadoop とそのエコシステムの今後的な話、言われ尽くされている話の観はありますが一応書いておきます。まとめると以下のような感じです。

「IoT が一般化すると身の回りのあらゆるものからデータが得られるということになるので、データも一般化する。そのデータは AI / 機械学習によって利活用される。その基盤を今後も支えていくのは Hadoop とそのエコシステムで揺らぎないはず。そしてその発展は今後しばらく止まることはない。ようは食いっ　ぱぐれない！*3」

といったようなことが言われていたと個人的には解釈しました。ちなみにこれはあくまでわたしの解釈です。末尾ながら念のためマサカリをなげられない予防線をもう一回はっておいてみました。恐縮です。

　と、以上がわたしの本イベントに参加して抱いた感想のシェアになります。

　続いて、ちょっと末尾としてはかなり長いのですが、、、、本イベントの午前の部：基調講演でわたしがとってきたメモをシェアしておきます（ブレイクアウトセッションについては面白かったと思ったもののみ個別のエントリとして別途エントリを公開します）。資料そのものは上述の感想の中でも述べたとおり後日公開される（公開されたらリンクを本エントリにも載せるつもりです）そうなので、そんなに熱心にはとっていないですが、参考までにといったところでご理解いただけるとありがたいです。
※ここからまだ長いので目次を挟んでおきます。

Cloudera World Tokyo 2016 午前の部：基調講演、各セッションのメモ。

スペシャルオープニングインタビュー

Speaker: Accenture Data Science Center of Excellence グローバル統括兼アクセンチュアアナリティクス日本統括マネジング・ディレクター工藤卓哉氏
End to End Data Science Business.
OSS 活用
北米はサイロになっていて、業界をまたいだスタンダードをつくるのは難しい。
- 日本の方がその点においては長けている印象があるという。
Data Science の市場は青天井で伸びている実感がある。
AI, 機械学習の投資
- FINTECH 市場。
- 実際になにかものをつくってみようという意味では日本ではまだまだなのかなあ、と。
  - 北米はブロックチェーンはじめ始まっている印象がある反面。
日本は横並び意識をなくす。規制を取り外すが弾けるためのきっかけになるのではないか。
アクセンチュアの取り組み
- ファストリとのとりくみ
- Intel
データサイエンスの人材育成
- 内部の人材育成という意味ではそのとおりだと思う。
  - 開発する側としてはクライアントに対する訴求ポイントが低くなってしまう。
  - 高いコミットメントができなくなってしまう。
  - アクセンチュアにはデータサイエンティストを育てるイニシアチブがある。
    - ハーバード大 x 東大 x アクセンチュア
- Cloudera の宣伝
  - データサイエンティストの育成プログラム。
さいごに
- 全世界中のトレンドでみると一般化線形モデルは消費財のデータを使ってやる。過去のデータを使って線形モデルをつくるだった。
- 今後は、お客さんとのタッチポイント。ゲートウェイサーバを増やすこと（車、スマホ、アクセスポイント等）。ストリーミング処理でデータをインタラクションしていく。

ご挨拶

Speaker: Cloudera株式会社　カントリー・マネージャー　田村研三郎
イベント登録者 1000+ (-20%増加)
協賛パートナー15社
ビッグデータ分析はビジネスを変革。
- IoT 時代の到来。
  - センサーデータはすべてを保存することができず捨ててきた。
幅広い業種でのユースケース。
- 金融
- 政府
- Telecom
- 製造業
- 電力
- ヘルスケア
フォレスター社：今後2年以内に大手企業の100%ビッグデータ分析技術を導入すると予測
- Hadoopはもはや単体のプロダクトをしめすのではなく eco システムを含めて呼ぶようになった
- それらがビッグデータ分析のデファクトとなっているということ
Clouderaの日本を大事にしている姿勢をアピール
- 日本語でのサポートを強調。
  - 大事だよね。言及される川崎氏カコイイ。

ビッグデータの新次元（新しいビッグデータの焦点、アプローチと原動力について）

Speaker: Cloudera, Inc. CTO Amr Awadallah @Awadallah
Three main Theme.
- AI, Machine Learning
  - 歴史と偉人
    - アラン・チューニング
    - ジョン・マッカーシー
    - マービン・ミンスキー
  - 1970：テリー・ウィノグラードがMITで開発したSHRDLU
  - 80 年代 AI の冬の時代
  - しかし現在の機械学習は人々の生活の中から返り咲いた
    - skype, facebook, AlphaGo,,,,
  - ではなぜ AI や機械学習が復活したのか？
    - 大規模なデータ収集が可能になった（オンライン、オフライン）
      - ビッグデータとは ATM で説明できる
        
        以前はトランザクションだけだった
        
        今は ATM 前の人間の動作をトラッキングしたりするようになっている
        
        そういったことでもっと精度のたかいサービスを ATM 前の人間に提供できるようになっているということ
        
        逆に泥棒にも対策できる。挙動からわかる。
      - ますますデータは巨大化。
    - 十分にスケーラブルな計算。
      - 急速に進化を続けるHWが支える
    - (OSS)によるアルゴリズムの民主化
      - Google に感謝。 (GoogleFS と Google MR、 Hadoop のオリジン、ビギニング)
      - ビッグデータプラットフォームの進化
        
        ソリューションスタックは日進月歩で増えていく
  - コンピュータは人間よりも遥かに上手にBigdataを処理する（以下に例示するようなものを）
    - 異常値の検出
    - 予測分析
    - クラスタリング
    - 最適化
- Their BigData Technologies.
  - 日々進化を続ける Spark MLib.
  - Cloudera の目指すところ
    - より多くのソースから
    - より多くのデータポイントを取得し
    - より多くの次元でクエリを行い
    - より迅速に、より優れた予測を行うこと
  - そのためにはビッグデータにおけるスマートフォンが必要と思っている。
    - データに対するアプリケーションの提供。
      - あらゆるデータを扱い
      - 様々なデータ構造を統合
    - Agility の重要性。
  - Cloudera のパワフルなデータベースをひとつのプラットフォームで提供する
    - マルチイン
      - 構造化、半構造化、非構造
    - スケーラブル
    - マルチアウト
      - SQL, Solr, Spark,,,,
  - Cloudera はクラウドをサポートするか？
    - するよ。
      - AWS, GCP, MS Azure はサポートしているよ。
    - オンプレとのハイブリッドもありですぜ。
      - オンプレからクラウドへの移行、逆も可能。
- UseCases. (資料読むのがよさげ)
  - 顧客行動の把握
    - 静的なセグメンテーションから動的なセグメンテーションへの進化
    - MARKS&SPENCER の例。
    - TELKOMSEL の例
    - 個別化医療への取り組み
    - GoPro の例
  - 製品サービスの改善
    - Cerner の例
  - ビジネスリスクの低減
  - アーキテクチャの近代化
- さいごに
  - Cloudera の PR.

10年目を迎えたApache Hadoop （Apache Hadoop のこれからの１０年）

Speaker: Cloudera, Inc. Chief Architect Doug Cutting @cutting
歴史の話。どこにいくのか？
- 今年はいろんな 10 周年の年
  - Hadoop, Cloud, そしてデジタルトランスフォーメーション
- 10 年前のシステムと比べるとだいぶ今は様変わりした
  - HW
  - SW
  - データ
  - 対象領域
  - デザイン手法
- データ革命
  - ムーアの法則などとともにデータは指数的に増加
  - デジタルトランスフォーメーションによってデータのビジネス価値増大
  - 波及効果
    - データはマシンが生成
    - ビジネスのあらゆる場面
    - 拡張性に富んだ汎用的なデータシステムが必要
- Lucene で得た教訓
  - Dugg 氏の鉄板っすね。
- そして Hadoop に至り今までの歴史の話。
  - Nutch が Yahoo 入りし、氏の息子の黄色いゾウのぬいぐるみの名前から Hadoop の名前がきまったこととか。
- そして現代のシステムを支える環境はどう様変わりしたか。
  - あらゆるデータから恩恵を得ることが可能になったと。
    - HW: commodity.
    - SW: 柔軟、OSS
    - データ:
    - 対象領域
    - デザイン手法
- 新しいデータソフトウェアエコシステム Spark が MR をリプレースしようとしている。汎用的なエンジンとして。 Kudu とオブジェクトストアが HDFS を補完。
- OSS プロジェクト間のゆるい同盟関係
  - 集中管理や調整なし
  - 適者生存
  - ユーザニーズ対応
  - etc,,,
- 将来のことはわからないけど、以下のようなものは継続進化していくとみている
  - クラウド
  - コンテナ
  - HW

ビッグデータ分析のビジネスインパクトについて

Speaker: Cloudera, Inc. Senior Director APAC Daniel Ng
ビッグデータはさまざまな業界に普及
ビッグデータの活用によるデータドリブンなインサイトの強化、データドリブンなインサイトによるビジネスの変革
- 日本のAPECでの市場は魅力的だ。
データは役にたつ。みなさんのデータはどのように役立ちました？
あらゆる場所にデータはある。なのであらゆる場所でデータ変革が起こる。
なのであらゆる業界で Cloudera の顧客層は広がっている
- MasterCard
- EARLYWARNING (グローバルのファイナンスシステムの保護)
Cloudera は高速、簡単、セキュア [PR]
Cloudera 以上に Hadoop 知ってるものはいないぜ (ﾄﾞﾔ [PR]
Cloudera 以上のビッグデータ導入でエクスペリエンスを体験できないぜ (ﾄﾞﾔ [PR]
- 川崎氏のトレーニングはさいっこーだぜ。
最大のパートナーエコシステムを持っている。
- Cloudera の強力なパートナーエコシステム [PR]
もっとデータに期待しよう。大きな質問がさらに大きな回答を生み出し、可能にするよ。
このセッションは残念ながら PR 色が強かったのだが、そもそも無料のイベントですから。