はじめに本稿は、自身がデータ分析者だと思っている人に対して、以下のことを自分の経験・学習した範囲から提案するものです。 ・こういうプロセスでデータ分析・データサイエンスを活用するのがいいよね ・このプロセスではこういうことに気をつけたり、こういうことができるといいよね 世の人が、これを以下のように役立ててくださり、世の中に資することを期待します。 ・これのどこまでが君のスコープなんだい？ということを、この文章を元に期待値調整（私は期待値を文脈に合わせて二つの意味で使うタイプの人です）できるようになる ・なるほど今俺は、こういうところで困っているのか？ということに気づける また、こちらで書いたことが共通認識になればなるほど、自分の得意な働き方が世の中のデフォルトになるので、自分にとっても得だなという側面があります。 なので別に世のため人のためだけではないです。（古典的ツンデレ）（俺こういう感

あけましておめでとうございます。2020年もよろしくお願いします。 2019年は「データサイエンティストなのにデータ万能主義を否定している」的スタンスでのメディア露出が増えました。 発言に矛盾はないと思います。データ触っている人ほど、データに慎重ですよね？　加熱するデータへの過度な期待を、少しでも冷ませられたら幸いです。しかしデータ自体への火は消していない。火を絶やすでないぞぉ。ただ、データ分析の全てを否定したわけではありません。 実は取材を受ける度に「これからは因果関係を発見する因果推論が重要」と主張してきました。2020年代はますます重要性が増すと考えています。 新年１発目のnoteは、その論拠をまとめてみました。 2020年代は因果推論がアツいと思う理由私がデータ分析を始める際、いきなり数字は触りません。まずは「目的」と「アプローチ」を定義するところから始めます。 目的（WHATとW

TL;DR 書籍「効果検証入門 正しい比較のための因果推論／計量経済学の基礎」のRソースコードを、Pythonで（ほぼ）再現しました https://github.com/nekoumei/cibook-python 本記事では、主にRではライブラリどーん！で済むけどPythonではそうはいかない部分の解説をします 書籍の紹介 https://www.amazon.co.jp/dp/B0834JN23Y 上記Amazonに目次が載っているのでそれを見るのが早い気がしますが。。 とても良い本です。正確な意思決定を行うためにどうやってバイアスを取り除くか？に焦点を当てて種々の因果推論の手法（傾向スコア/DiD/RDDなど）をRソースコードによる実装とともに紹介されています。 全体を通して、現実問題の効果検証に因果推論を活用するにはどうすればいいか？という観点で書かれており、非常に実用的だなーと

By Tao Feng, Jin Hyuk Chang, Tamika Tannis, Daniel Won In a modern data-driven company like Lyft, every interaction on the platform is powered by data. The challenges that arise from complex data generation, ETL processes, and analytics make metadata significantly important. Moreover, the types of data resources are constantly increasing. At Lyft, these resources include SQL tables and views in Re

"Tech Night @ Shiodome" の発表資料です。 http://yuzutas0.hatenablog.com/entry/2017/07/06/083000 に補足を掲載しています。

Developers Boost（デブスト）【B-4】の発表資料です。 https://event.shoeisha.jp/devboost/20181215/session/1896/ ブログに補足を掲載しました。 https://yuzutas0.hatenablog.com/entry…

Developers Summit 2018 Summer 【C-1】の発表資料です。 https://event.shoeisha.jp/devsumi/20180727/session/1764/ データの民主化、データ基盤の構築、分析チームの立ち上げ、機械学習プロジェクト。世を見渡せばキラ…

Wantedly VisitやAmazonの事例を出しながら、ビジネス構造の可視化とアイデア出しや評価についてお話します。 エンジニアでない人が、エンジニアと関わりながら仕事を進めていく方法についてもTipsを書いています。

この記事は Retty Advent Calendar 18日目の記事です。 昨日は@isaoekaさんの会社の行動規範浸透を図るため、メニューバーからいつでも確認できるアプリを作ったの話でした。 はじめまして、Rettyのデータ分析チームでマネージャーをやっている平野です。 Rettyのデータ分析チームは今年4月に立ち上げ現在9ヶ月目です。 この記事では立ち上げから9ヶ月でやってきた組織的取り組みについて中心に書きました。 今アドベントカレンダーではデータ分析の技術的取り組みついてを、一緒にデータ分析チームを立ち上げた@takegueが書いてますので、そちらも合わせて読んでいただけますと幸いです。 ベンチャー企業におけるDWH DevOps @ Retty - Retty Tech Blog Webサービスを支えるユーザログ基盤開発＠Retty - Retty Tech Blog 目次

【参加記録】データとML周辺エンジニアリングを考える会 #2 【参加記録】データとML周辺エンジニアリングを考える会 #2 簡単に 各発表 GCPでStreamなデータパイプライン運用しはじめた リアルタイムデータ処理基盤の構築 Google Cloud ML Engineに浸かってみる PoC案件が多すぎてつらいので、パイプラインを使い回すツールを入れた。 Cloud Composer & Cloud Dataflow によるバッチETLの再構築 DigdagでETL処理をする Comet.mlでAutoMLライブラリ開発 データ活用の際にハマってしまったログ・データスキーマ設計 まとめ 簡単に データとML周辺エンジニアリングを考える会 #2に参加してきたので簡単なまとめと若干のコメント 実サービスでのログ管理、どうやってDWHにデータ突っ込んでるのか、という話題が中心でした 普段は機

#bq_sushi tokyo #7 の登壇資料となります。 Shunketsu Oh 氏との共同発表です。 https://bq-sushi.connpass.com/event/82711/ refs. https://yuzutas0.hatenablog.com/entry/2018/…

データ分析ガチ勉強アドベントカレンダー 12日目。 今までは、時間に依存しないデータについて取り扱ってきました。 しかし、世の中のデータは時間に依存したデータも多いのが事実です。 時間に依存しないデータは、その分各データを独立に扱うことができますが、時系列データはそういうわけにはいきません。なので、なかなか難しいのです。 今日は時系列のさわりをまとめて、また、時系列予測のチュートリアルをしていきます。 参考にできるサイト メタ的な記事 pythonの実装も含めて ディープラーニング系 本 読みたい論文(積読) Toeplitz Inverse Covariance-Based Clustering of Multivariate Time Series Data WAVENET: A GENERATIVE MODEL FOR RAW AUDIO 基礎チュートリアル データの用意 定常性のチ

「データ分析の門をたたいて2年が経ちました」 s-dev talks 〜サービス開発勉強会〜「定量データ分析」 https://s-dev-talks.connpass.com/event/128911/

はじめにこんにちは。DATUM STUDIOの安達です。 最近社内で日本語のテキストを用いた自然言語処理でよく質問を受けるのですが、前処理についてはそこそこ同じような内容になるため、本記事では社内共有の意味も込めて前処理に関して用いてきた＆用いれそうな手法を列挙します。 比較的同じ内容を扱った既存の記事としては以下のようなものもあり、読者の方はこれらも参考にされて要件に合わせて取捨選択してください。 自然言語処理における前処理の種類とその威力 – Hironsan自然言語処理の前処理・素性いろいろ 本記事における使用言語、環境は以下の通りです。 ・osx 10.13.6・anaconda 5.2.0・python 3.5.2Table of contents ・形態素解析段階での前処理 ・文字表現の正規化　・URLテキストの除外　・Mecab + neologd 辞書による形態素解析 ・形

今日のテーマは円グラフ (パイ チャート) です。みんな大好き円グラフ。 レポートや白書、報告書、そういったものには必ず 1 つ以上円グラフが入っています。どこの企業、どの職種であっても可視化と言えばまず円グラフを選んでしまう人もいます。以前から円グラフはわかりやすい/わかりにくいという論争がありますが今回はその論争に終止符を打ちたいと思います。 円グラフはわかりにくい 理由1: 人間の能力 理由2: 円グラフは割合 (だけ) 表す 円グラフの良くある勘違い表現とその代替案 割合を示している (はず) 割合とランキングを示している 割合と絶対量を示している ドリルダウンするためのボタンとしての円グラフ 円グラフが有効な時 円グラフはわかりにくい いきなり結論ですみません。円グラフはわかりにくいです。*1 理由1: 人間の能力 まずひとつ目の理由は、人間の目は角度を測れないから。大きな差があ

こんにちは、ほけきよです。 pythonでデータを取り扱っているとき「あれ、これどうやるんだっけ？？」 ってなること、ありませんか？僕は10分に1回程度なります。 いや、覚えろと自分でも思うんですが、覚えられないんですよね。100回くらい同じコマンドを調べてたりする。 物覚えが良くないので、ココを見れば絶対大丈夫なようにしておこうと思い、まとめてみました。 jupyterで最初に開くときに読み込むモジュールたち datetime 日付⇔文字列の変換 datetimeの足し算引き算 json dict型⇔json jsonファイルの入出力 datetimeをjsonにする時、エラーが出る pandas ～以外を表すやつ andとor inf弾く リストをdfにサクッと変換 datetimeとして読み込み 読み込み時にcodecのエラーが出る DataFrameのfor文 numpy lins

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに データ分析のプロセスとして、CRISP-DM(CRoss Industry Standard Process for Data Mining)というものがあります。 ビジネスの理解 データの理解 データの準備 モデリング 評価 デプロイ 機械学習を扱うとなると、モデリングに注目しがちですが実際の作業量としては、それよりも前のステップである、ビジネスの理解、データの理解、データの準備のステップが大半を占めます。これらの作業のうち、「データの理解」は、データの中身を可視化や集計の結果から何らかの仮説を生み出していく作業（EDA (

統計やらNight!!データマイニングMeet up #2 @ウィルゲート の発表資料です。 refs. http://yuzutas0.hatenablog.com/entry/2018/05/17/083000

OSC2018東京 春での入門セッション