Cloudera World Tokyo 2016 有賀発表 データサイエンスを含めたチームづくりと、機械学習を活かしたプロダクトの作り方について話しました。Read less

データ分析基盤Night #2 - connpass 2017/04/26 データ分析基盤Night #2 #データ分析基盤Night - Togetterまとめ 前回第1回に引き続き抽選に当たったのでこの日参加してきました。 『 データ分析基盤Night #1 』に参加してきた #データ分析基盤Night - 試纏 会場は株式会社FiNC様＠有楽町。有楽町駅ビックカメラのすぐ隣、交通の便は超良い場所です。 会場内もとてもオシャレで綺麗なオフィスでした！ 挨拶 ウェルネスタイム(軽いストレッチ) by FiNC FiNCの分析基盤の概要 発表資料 発表内容 freee のデータ分析基盤の全容 発表資料 特徴：他のサービスとどこが違うのか 構成：アーキテクチャ マーケティング 販売・サポート エンジニア ダッシュボード バッチ処理 辛み 展望・チャレンジ まとめ mercariのデータ分析基

データ分析グループの組織編制とその課題 マーケティングにおけるKPI設計の失敗例 ABテストの活用と、機械学習の導入 #CWT2016

第45回Elasticsearch勉強会のLTスライドです。 BERTモデルをElasticsearch v8.0.0-beta1 にインポートして利用します。

— データ分析による報道の技術とその再現性 — 概要英ガーディアン社は、ウェブ版の記事に寄せられた大量のコメントを計算機により解析し、コメントによるハラスメントの傾向を分析した。同社はそれに用いた技術的側面も公開したため、その詳細について検討した。このようなデータ分析は報道の現場でも今後重要度を増し、プロセスの透明性や解析の再現性といった、科学論文執筆関わる諸問題に類似した課題に直面すると予想される。それらの解決に利用可能な技術についても検討した。 はじめにCMSの普及以後、個人ブログに限らず、コメント欄を開放している大手メディアのウェブサイトもよく見かけます。大手の場合、管理者があまりにひどい罵詈雑言などは各社の規定に基づきブロックしますが、そうでないものは基本的には掲載されます。大手になればなるほどサイトを訪れる人も増え、このモデレーションの作業が大変になるため、労力に対して吊り合わな

2. Copyright © DeNA Co.,Ltd. All Rights Reserved. ⾃⼰紹介 n  ⼭⽥ 憲晋 n  DeNA システム本部 分析推進部 部⻑ n  略歴 1995年NECに⼊社。VerilogでFPGA上にTCPフルスタック実装する等 ネットワーク関連の研究開発に従事。 2007年DeNAに⼊社。モバゲーの開発インフラ、ゲーム開発チームのマ ネージメント等を担当する。 ゲーム運営の中で分析の重要性を肌で感じ、2010年分析組織を⽴ち上 げる。 現在は、DeNA全体の分析基盤の構築と活⽤の推進統括をしている。 2

2. 自己紹介 ✓ 氏名：佐々木一 (Hajime SASAKI) ✓ 出処：柏市出身、新宿区在住。 ✓ 最近の趣味：海釣り。キャンプ。 ✓ 好きな言葉：ランダムフォレスト ✓ 嫌いな言葉：多重共線性、3D円グラフ ✓ 背景：航空宇宙工学 →某重工業@名古屋→ 技術経営（東工大）→技術経営（東大） ✓ 技術経営（MOT）：技術を差別化の根幹とする企業の経営課題における領域およびその 学問体系。 ✓ 人工知能とか機械学習とか統計学の手法研究は専門ではありません >< ✓ どちらかというと、ビジネスの意志決定や科学技術政策のためのデータ分析が多いで す。 2 3. こんなことをやっています（その１） ✓ 学術/技術俯瞰分析: 膨大に増加する学術論文や特許の引用関係ネットワー クをクラスタリング、ラベリングによって構造化。 ✓ 萌芽予測: 将来注目される確率の高い学術論文や特許技術の予測。 •

2. お前誰よ • @tokoroten • http://twitter.com/tokoroten • Emotion Intelligence株式会社 • http://emin.co.jp/ • http://www.zenclerk.com/ • 高機能雑用 • 現職：ECデータ分析、新規開発、営業 • 昔：半導体計測器屋、ゲームディレクター、セキュリティ

PyConJP 2015にて発表 https://pycon.jp/2015/ja/schedule/presentation/61/Read less

どうも。 1月に入社したばかりの、データ分析担当のn_maoです。 と言いながら、最近はHTMLとjsばかりいじっております。 それはそれで楽しいです。 さて今回はデータ分析のざっくりとした仕事内容と、その分析にかかる手間を省くツールをご紹介します。 データ分析の仕事 まずは私の行っているデータ分析という仕事の内容をご紹介します。 私の主な仕事は大きく分けて４つです。 売上げ、会員登録数などの簡単な集計&自動レポーティング データベースからの知識発見（いわゆるデータ分析） 分析結果をもとにした企画立案 実施された企画の効果検証 あくまで私個人の仕事内容であり、データ分析者全員に当てはまるわけではありません。 アルゴリズムの研究開発の方や、インフラ寄りの方もいらっしゃるでしょう。 ですが、同じ職種の方で業務範囲が被っている方も少なからずいらっしゃると思います。 これら４つの業務の中で一番時間

ある大手チェーンのスーパーであったこと。 そこは東京近郊の駅前にあって24時間営業の店なんだけど、朝の6時～8時はレジを2～3台で回していた。 でもある日、上の意向でこの時間のレジは基本1台のみで回すことになった。 レジの回転率の数値を見て1台で充分回せるとわかったため経費削減の判断だ。 しばらくレジは1台で回していたのだが、ほどなくしてこの時間帯の来客・売上げはかなり落ちてきた。 レジの稼動を1台に絞れという判断は、来客が少ないのにレジに余計な人件費をかけるという 無駄を事前に防ぐことができたとその判断自体はそれなりに評価されたらしい。 でもこの時間帯に現場で働いている人間はバイトでも知っている。 来客数・売上げが落ちた理由は稼動レジを1台に絞ったためだ。 確かにレジ1台でも充分裁くことができる来客数だったんだけど1台だと常にレジに列ができている状況だった。 この時間帯に来る客は、主に通

年末なのでぼちぼち今年の振り返りをします．ちなみに去年のはこちら． データブジネス，データ分析，ソフトウェア開発の3カテゴリに分けて，それぞれについて上から読んでよかった順に並んでいます． データビジネス "超"分析の教科書 “超"分析の教科書 (日経BPムック) 作者: 日経ビッグデータ出版社/メーカー: 日経BP社発売日: 2014/11/17メディア: 単行本この商品を含むブログ (2件) を見る事例集として，非常によくまとまっていました．幅広い業種で典型的に使われるような手法とか問題とかがコンパクトにまとまっていて，実務でデータ分析をしている人ならみておいて損はないのではないでしょうか．内容は割と平易に書かれているので，データ分析専業じゃない人が読んでも割と読みやすく面白いと思います． アルゴリズムが世界を支配する アルゴリズムが世界を支配する (角川ＥＰＵＢ選書) 作者: クリス

Top 10 Coolest Big Data Startups Of 2014という記事がありまして、はじめて名前を聞く企業が多くありましたので簡単に調べてみました。ホントに簡単に調べただけです。正確には記事の説明＋HPのトップをざっと見ただけですので、そんなものがあるのかー、くらいのノリです。 1. SumAll SumAll FacebookやTwitter, eBayやInstagramなど、42種類のソーシャルとEコマースサイトのデータからデータを可視化することができるオンラインのプラットフォームを提供してくれる、とのこと。今年に入っていくつかの機能追加を行い、例えば、リツイートやメンションの数によってアラートを発してくれるようなシステムが追加されたとのこと。 2. Luminoso Luminoso テキスト分析に強みがある会社ぽいです。MITメディア・ラボからのスピンアウトみ

ハッカーズチャンプルー2014でお話してきた内容です。「データサイエンティスト（カナ）はオワコン」 http://hackers-champloo.org/program.htmlRead less

This document discusses Hadoop and its ecosystem. It covers Hadoop distributions like Cloudera and Amazon's Elastic MapReduce service. It also discusses running SQL-like queries using MapReduce and moving data between MySQL and Hadoop. Key algorithms like map and reduce functions are explained through examples. Different Hadoop deployment options on EC2 like standalone, Cloudera, and EMR are also

今日は統計や技術の詳細な話は少しお休みして、そもそもデータマイニングとは何なのか、分析において必要なことは何なのかを考えてみます。 仮説力とは何なのか データ分析の実務においては、分析モデルの手法や統計的方法の前にまず検討しなければならないことが多々あります。たとえば分析対象の問題をどのように設定するか、対象の特徴 (= 属性、振る舞い等) をどのように表現するか、何を可視化するかあるいはそれをどう決めるか、ログなどを用いて特徴の計算方法をどのように定義するか、といったことなどです。 実務というのは大学での実験ではありません。目の前にあるデータに対して興味先行で機械学習や統計的手法を適用しても得られるものはありません。統計学の有名な言葉に GIGO (ゴミを入れればゴミが出てくる) という言葉がある通り、高度な解析手法やツールに溺れても自己満足で不適切な分析に終わってしまうのです。 分析の

2014/1/25 "第32回 データマイニング+WEB ＠東京　( #TokyoWebmining 32nd) −マーケティング最適化・最前線 祭り−"を開催しました。 第32回 データマイニング+WEB＠東京 ( #TokyoWebmining 32nd) −マーケティング最適化・最前線 祭り−: Eventbrite Google グループ 会場提供し運営を手伝って下さった ニフティ株式会社 のみなさん、どうもありがとうございました。素敵なトークを提供してくれた講師メンバーに感謝します。会場参加、USTREAM参加ともに多くの方々の参加を嬉しく思っています。 参加者ID・バックグラウンド一覧： 参加者Twitter List: Twitter List TokyoWebmining 32nd 参加者セキココ：第32回 データマイニング+WEB ＠東京 セキココ (作成してくれた [T

プログラマレベルというページがとても面白かったのでデータサイエンティスト版つくってみました。データサイエンティストの定義は[twitter:@TJO_datasci]さんのQuantitative analystに準拠しつつ技術面に焦点をあててレベル分けしています。 レベル0 このレベルの人はデータ分析をしたことがありません。最近テレビでよく目にするビッグデータについては何だが凄そうというイメージは持っています。そしてデータサイエンティストという言葉を知らない人が大半です。 ありがちな発言 「ビッグデータってすごいらしいね」 レベル1 レベル1の人達は仕事や大学等の課題でExcelを用いた集計や簡単な相関分析などを実施したことがあります。ただし分析にあまり興味を持っておらずデータをニヤニヤしながら眺めている上位レベルの人達を変人だと思っています。彼らにとってビッグデータやデータサイエンティ

初回カウンセリング時に全6回分の予約が可能！ ⇒予約が取れないという心配がなく≪8か月≫で卒業可能。もちろん予約後の変更で、当日キャンセルも無料。 6回完了後も1年間無料でメンテナンスが可能！ （施術は2か月に1回のペースとなります。）

やぁ。4月も終わりだというのに、いやに寒い日が続いてるね、元気かい？ 面白い話がtwitterに流れていたので紹介したい。 日経コンピュータの話。ビックデータ神話に乗り、多額の費用で解析した靴屋の話、解析結果、冬にブーツが売れ、夏にサンダルが売れるw。 https://twitter.com/yawachi/status/326460494154194944 これを見て君はどう思う？ twitterでは皆がこのニュースに対して嘲笑を投げかけていた。 そりゃそうだろう、大金を掛けて誰でもわかることしか出てこないなんて、笑われて当然さ。 データマイニングってのは、やっぱり、もっとこう、あの有名な「おむつとビール」ような意外性のあるものじゃないとね。 そう、データマイニングに必要なのは意外性だ！ あの靴屋は全く馬鹿なことをしたもんだ、ゲラゲラ！ OK、笑いが取れたようなので、もう一つ同じような話