はてなブックマーク

トレジャーデータでは， エンジニア ソリューションアーキテクト セールス の 3 職種で一緒に働く仲間を募集中です。ご興味のある方は以下のいずれかの方法でコンタクトをよろしくお願いします。 [email protected] また，キャリアに興味のある方や具体的に詳しい話を聞きたい，といった方は以下の宛先にまずは気軽にご連絡ください。 僕のTwitterへ連絡（ @doryokujin ） 僕のメールへ連絡（ [email protected] ) トレジャーデータでは一緒に働ける仲間を募集中です！（エンジニア，ソリューションアーキテクト，セールス） http://t.co/KrJwjAmLd5 #treasuredata— チーフ データ マエショリスト (@doryokujin) 2014, 4月 21 1. エンジニア トレジャーデータはデータマネジメントの

2014年3月2日（日）のデータ可視化勉強会で発表させて頂きました。 この Visualization がすごい2014 〜データ世界を彩るツール6選〜 from Takahiro Inoue エンジニアのための データ可視化[実践]入門 ~D3.jsによるWebの可視化 (Software Design plus) 作者: 森藤大地,あんちべ出版社/メーカー: 技術評論社発売日: 2014/02/20メディア: 単行本（ソフトカバー）この商品を含むブログ (1件) を見る 本勉強会は上述の d3.js の入門本の発刊を記念して開催されました。可視化に興味のある全ての方にこの本をお薦めします。 また，BIに関する入門書籍は以下をお薦めします。 BIシステム構築実践入門 (DB SELECTION) 作者: 平井明夫出版社/メーカー: 翔泳社発売日: 2005/05/24メディア: 単行本購

Treasure Data Intro for Data Enthusiast!! from Takahiro Inoue 本シリーズではデータ分析を以下の7つのレイヤーに分解し，各々について解説していくものとします。（Slide Shareの資料は常時更新されます。） Data Collection Data Storage Data Management Data Processing Data Processing Design Part.1 Part.2 Part.3 Part.4 Part.5 Part.6 Data Visualization Treasure Viewer, MetricInsights, Tableau Data Visualization Patterns Part.1 Part.2 Part.3 本日は「6. Data Visulization」の第3回

Treasure Data Intro for Data Enthusiast!! from Takahiro Inoue 本シリーズではデータ分析を以下の7つのレイヤーに分解し，各々について解説していくものとします。（Slide Shareの資料は常時更新されます。） Data Collection Data Storage Data Management Data Processing Data Processing Design Part.1 Part.2 Part.3 Part.4 Part.5 Part.6 Data Visualization Treasure Viewer, MetricInsights, Tableau Data Visualization Patterns Part.1 Part.2 Part.3 本日は「5. Data Processing Design

Treasure Data Intro for Data Enthusiast!! from Takahiro Inoue 本シリーズではデータ分析を以下の7つのレイヤーに分解し，各々について解説していくものとします。（Slide Shareの資料は常時更新されます。） Data Collection Data Storage Data Management Data Processing Data Processing Design Part.1 Part.2 Part.3 Part.4 Part.5 Part.6 Data Visualization Treasure Viewer, MetricInsights, Tableau Data Visualization Patterns Part.1 Part.2 Part.3 本日は「5. Data Processing Design

Treasure Data Intro for Data Enthusiast!! from Takahiro Inoue 本シリーズではデータ分析を以下の7つのレイヤーに分解し，各々について解説していくものとします。（Slide Shareの資料は常時更新されます。） Data Collection Data Storage Data Management Data Processing Data Processing Design Part.1 Part.2 Part.3 Part.4 Part.5 Part.6 Data Visualization Treasure Viewer, MetricInsights, Tableau Data Visualization Patterns Part.1 Part.2 Part.3 本日は「5. Data Processing Design

Treasure Data Intro for Data Enthusiast!! from Takahiro Inoue 本シリーズではデータ分析を以下の7つのレイヤーに分解し，各々について解説していくものとします。（Slide Shareの資料は常時更新されます。） Data Collection Data Storage Data Management Data Processing Data Processing Design Part.1 Part.2 Part.3 Part.4 Part.5 Part.6 Data Visualization Treasure Viewer, MetricInsights, Tableau Data Visualization Patterns Part.1 Part.2 Part.3 本日は「5. Data Processing Design

Treasure Data Intro for Data Enthusiast!! from Takahiro Inoue 本シリーズではデータ分析を以下の7つのレイヤーに分解し，各々について解説していくものとします。（Slide Shareの資料は常時更新されます。） Data Collection Data Storage Data Management Data Processing Data Processing Design Part.1 Part.2 Part.3 Part.4 Part.5 Part.6 Data Visualization Treasure Viewer, MetricInsights, Tableau Data Visualization Patterns Part.1 Part.2 Part.3 本日は「4. Data Processing」にフォーカス

Treasure Data Intro for Data Enthusiast!! from Takahiro Inoue 本シリーズではデータ分析を以下の7つのレイヤーに分解し，各々について解説していくものとします。（Slide Shareの資料は常時更新されます。） Data Collection Data Storage Data Management Data Processing Data Processing Design Part.1 Part.2 Part.3 Part.4 Part.5 Part.6 Data Visualization Treasure Viewer, MetricInsights, Tableau Data Visualization Patterns Part.1 Part.2 Part.3 本日は「3. Data Management」にフォーカス

Treasure Data Intro for Data Enthusiast!! from Takahiro Inoue 本シリーズではデータ分析を以下の7つのレイヤーに分解し，各々について解説していくものとします。（Slide Shareの資料は常時更新されます。） Data Collection Data Storage Data Management Data Processing Data Processing Design Part.1 Part.2 Part.3 Part.4 Part.5 Part.6 Data Visualization Treasure Viewer, MetricInsights, Tableau Data Visualization Patterns Part.1 Part.2 Part.3 本日は「2. Data Storage」にフォーカスを当て

Treasure Data Intro for Data Enthusiast!! from Takahiro Inoue 本シリーズではデータ分析を以下の7つのレイヤーに分解し，各々について解説していくものとします。（Slide Shareの資料は常時更新されます。） Data Collection Data Storage Data Management Data Processing Data Processing Design Part.1 Part.2 Part.3 Part.4 Part.5 Part.6 Data Visualization Treasure Viewer, MetricInsights, Tableau Data Visualization Patterns Part.1 Part.2 Part.3 本日は「1. Data Collection」にフォーカス

はじめに これから全7回に渡ってTreasure Data Platformを使ったデータ分析の紹介をします。教科書はこちらになります。 Treasure Data Intro for Data Enthusiast!! from Takahiro Inoue 本シリーズの目的は2つ。 Treasure Data Platform Service の概要を理解してもらう。 本シリーズを理解すればデータ分析が誰でも容易にレポーティングが可能になる。 今やデータサイエンティスト() という言葉は，高度な分析手法を駆使してあらゆる問題を解決するプロフェッショナル集団という響きがありますが，それは本質ではありません。データサイエンティストの本質は， 意思決定者（経営者，ディレクター，マネージャー）が容易に理解できるようなシンプルかつ説得力のある分析結果を提供することができること， データ収集からレ

facebook の松尾さんの投稿で future-study の発足を知り，僕は胸が熱くなりながら「いいね」を押しておりました。 フューチャーアーキテクト（以下略してフューチャー）の有志の皆さん，future-study の発足おめでとうございます。僕とMongoDB JPの成長は，フューチャーアーキテクトの支え無しには有り得ないものでございますよ。 感謝の気持ちを込め，過去の僕ともんごとフューチャーの歩みを振り返ってみるオレオレ的なエントリーですが書いてみました。 図1：フューチャーのエントランスと，140人ほど収容できる勉強会ルームの外にある休憩ルーム（最下）。お菓子やジュース，懇親会が近くなるとたくさんのデリバリーがここにいつも並んでいます。 何も制度が無いところから始まった future-study 僕ともんごとフューチャーの出会いは「第1回 MongoDB Conference

はじめに 前回はチュートリアルの全ステップを通過し，登録に至るまでの状況をファンネル分析で見てきました。 その後，Register （本登録）という（ゲームを通じてたった 1 回の）アクションを経て以降は，ユーザーは日々そのゲームにログインして様々なアクションを取っていきます。 しかしながら登録したその日以降，全くアクセスしなくなってしまうユーザーは実は想像以上にたくさんおり，またその後に数回アクセスしてくれたユーザーも様々な要因で日々ゲームから離れていってしまいます。そういったユーザーの「退会」というアクションに対しては， どのセグメントのユーザーが退会しやすいのか ユーザーの継続期間で，退会のリスクが大きくなるポイントはあるのか システムメンテナンスや障害は退会というアクションに影響を与えるのか といった様々な観点からこの分析を行い，食い止める施策を見いださねばなりません。 また，日々

Treasure Data Intro for Data Enthusiast!! from Takahiro Inoue 本シリーズではデータ分析を以下の7つのレイヤーに分解し，各々について解説していくものとします。（Slide Shareの資料は常時更新されます。） Data Collection Data Storage Data Management Data Processing Data Processing Design Part.1 Part.2 Part.3 Part.4 Part.5 Part.6 Data Visualization Treasure Viewer, MetricInsights, Tableau Data Visualization Patterns Part.1 Part.2 Part.3 本日は「7. Data Visulization Patt

図1：チュートリアルのアクションを表現したファンネルグラフ。入口である step=1 には 8 人の user が流入したのにもかかわらず途中でどんどん離脱していき，出口である step=10 に達した user は user3 のみであることを表しています。また，チュートリアルの出口まで達した user はゲームへの本登録：register が完了したことになります。 今回は図1 のようなチュートリアルアクションに関する分析を行います。前回の続きですのでまだの方は先に前回の記事を読んでおいて下さい。 チュートリアルにはユーザー名登録，アバター選択などいくつものステップを経て登録というコンバージョンに至ります。今回は全 30 のステップを用意し，チュートリアルに入ったユーザーは順番にステップを進んでいくものを想定しています。またチュートリアルを終えた人が本登録: "register" を行

トレジャーデータでは， エンジニア ソリューションアーキテクト セールス の 3 職種で一緒に働く仲間を募集中です。ご興味のある方は以下のいずれかの方法でコンタクトをよろしくお願いします。 [email protected] また，キャリアに興味のある方や…

はじめに 今回から数回に渡って Social Gaming Analytics シリーズが始まります。本シリーズの目的は，特定のゲームに依存しない，一般的なアクションログから実行可能な，有用な解析手法をいくつか紹介する事です。前回のようにサンプルデータセットや解析クエリの紹介は省略することにします。 なお，紹介する解析手法はどれも有用で魅力的なものですが，それらは全て Treasure Data Cloud Warehouse 上で実行可能となっていますので，実際に解析を行ってみたい方はそちらの方でぜひ。 イントロダクション Social Gaming Analytics はここ数年の間に非常に大きな発展を遂げてきました。継続的にゲームパラメータを変更可能なソーシャルゲームにおいては「ユーザー個々のアクションに基づいた解析」を行い，その結果を即座にゲームデザインに反映していかなければなりま

はじめに 今回は Treasure Data が提供している Heroku Addon を利用して，任意のアクションログを取得する方法を紹介します。また，アクションログの取得については td-logger-ruby または td-logger-java を利用することによって Heroku 上のアプリケーションに限らず任意の Ruby および Java アプリケーションから同じようにアクションログを取得することができます。はじめにアクションログを取得することの有用性について触れ，その次に Heroku Addon の紹介およびアクションログを取得するまでの流れを説明します。 アクションログをフルに活用した解析は次回から始まる Social Gaming Analytics にて詳しく紹介します。 アクションログについて つい最近までの Web サービスにおける解析というのは，アクセスログに

前回の続きです。 5. 複数のノード・アクションをまたいだ分析 前回までは主に個々のノード・アクションのセグメント分析を行ってきましたが，ここからは，複数のノード・アクション（Query 的には複数のテーブルをまたがった記述に）をまたいだ解析を行っていきます。 5.1 過小/過大評価ユーザーおよび怠惰なユーザー（外れ値）の特定 ここではあるステータスから導かれる，外れ値とみなせるサンプルを特定してみましょう。 今回のようなレビューデータセットでは，例えば 10 段階評価の付け方であっても悪い評価を付けたがらないユーザーもいますし，めったに高評価を付けない辛口なユーザーもいます。もちろんこれらのユーザーは例外では無く，こういった多様性を考慮した上で解析を行っていくことは重要です。 ただ評価の付け方があまりにも偏っているユーザーに関しては外れ値として考慮した方が良いケースもあります。今回は以下

はじめに 準備編ではデータセット：Book-Crossing Dataset を用意し， Treasure Data のツールベルト一式を導入した上でインポートし，簡単なクエリを実行するところまで行いました。本シリーズでは Treasure Data のデモアカウントが必要になりますのでまだの方は準備編の方を先に参照下さい。 今回は「データを俯瞰する」をテーマに，解析対象としているデータセットがどのような姿をしているのかを視野広く眺めることにしましょう。このフェーズでは全く難しいことは行いません。ここでのキーポイントは セグメント：ノードやアクションのステータスから様々なセグメントを作成しその分布を眺める というステップを地道に行う事にあります。それによってどの「切り口」でデータを深掘りしていけば良いかが見えてくるのです。 データを俯瞰する データ解析は解析対象とするデータセットの概要を知

はじめに Treasure Data Cloud Warehouse（前編）では，サービスの概観を紹介しました。第2回では，実践的なデータ･アナリティクスを行う上で解決しなければならない問題をTreasure Dataではどのように解決しているのか，具体的に述べていきたいと思います： データ収集の問題：様々な種類のログをどのようにデータを集約･収集して，横断的な解析を可能にするか？ ストレージの問題：増え続けていく大量のログを，どこに，どのようなフォーマットで，解析可能な状態のまま保管していくか？ 解析結果の活用に関する問題：ログを解析した結果を，どのように可視化するか。あるいはどのように既存のシステムに統合・フィードバックしていくのか？ 1. データ収集の問題 図1: fluentd はログ解析の前段，ログ収集における問題を解決してくれる 「解析対象のログを収集してくる」という作業は本質