データサイエンティストによる統計入門 ― k平均法でデータをクラスタリングしてみよう！ ビッグデータ、データサイエンス、人工知能など、統計学を主軸においた分野が隆盛ですが、統計学には高いハードルを感じる方も少なくないでしょう。k平均法を実際に手を動かしながら理解することで、データ分析を身近に感じることができます。 はじめまして、藤井健人（@studies）と申します。イタンジ株式会社でデータ基盤周りの運用を担当しています。 「ビッグデータ」「データサイエンス」「人工知能」といったバズワードに代表されるように、統計学を主軸においた分野の隆盛が日常となって久しいです。 しかし「統計学は学問的な要素があり難しい」という印象を持たれやすく、「実務に活かすのはハードルが高い、怖い」と感じる方も少なくないのではないでしょうか。 そういった方を対象に、今回は統計学の手法の一つであるk平均法を学んでいただ

ネットでがん治療を調べると、「日本のがん死亡率は、先進国の中で唯一上昇している」という話が良く出てきます。そして、この言葉がでるとお決まりのように、日本でしか抗がん剤が使われていないからだとか、日本の標準治療がひどいという文句がでてきます。この話から病院での治療に不安を感じる方もいます。もちろん、日本だけで死亡率が上がっているというのは完全な嘘です。今回はこの嘘について解説したいと思います。 日本のがん死亡率は低下し続けている まず、WHOの実際のデータを使って、日本のがん死亡率はどうなっているのかをお示しします。WHOサイトのグラフをそのまま以下に引用します。 こちらは、日本を含めた各国の「男性のがんによる死亡率」を比較したものです。日本は真ん中の図の中で、緑で表されています。日本は1990年代後半をピークに、その後はどんどん下がってきています。この傾向はほとんどの先進国で同様です。日本

3年9か月もの間 、全世界を魅了してきたアニメ「プリパラ」が終わりました。 「キラっとプリ☆チャン」にも期待していますが、ずっと習慣で見ていた「プリパラ」が終わってしまったのは、とても寂しいのです。 自分は黄木あじみ先生が大好きでした。 ぶっとんだキャラの博覧会だったプリパラの、その最北端にいた奇跡のキャラクター、それがあじみ先生です。 あじみ先生、アバンギャルドを優に超越した、常人には理解不能な言動とは裏腹に、その持ち歌「パニック・ラビリンス」が良い事歌っているのです。 一見電波系な歌なのですが、その奥には「型にはまらずに生きていこう」というメッセージが込められた、あじみ先生が唯一「先生」している名曲なのです。 「君と夢混ぜて、出来た色、どんな名前つける？」 黄木あじみ　パニック・ラビリンス そんなプリパラでは、たくさんの歌が作られました。 定番「Make it!」「 ドリームパレード」

ミスティーノは、仮想通貨でも遊べるオンラインカジノです。仮想通貨での入金には、Bitcoin、Ethereum、Litecoin、Bitcoin Cashなどが使用できます。また、出金も仮想通貨で行うことができます。 また、ミスティーノでは、スロットやテーブルゲーム、ライブカジノ、ポーカー、ビデオポーカー、バカラ、サイコロなど、様々なオンラインカジノゲームが楽しめます。さらに、スマートフォンやタブレットでのプレイも可能ですので、いつでもどこでもカジノゲームを楽しむことができます。 実際にミスティーノで遊んでみた感想 ミスティーノでは、新規登録や入金などに応じて、さまざまなボーナスが提供されています。 新規登録ボーナスとしては、入金不要で手に入る「フリースピン」があります。また、入金ボーナスとしては、入金額に応じた「マッチボーナス」が提供されることがあります。さらに、プレイヤーのレベルが上が

写真は野球好きの同志（同僚）から餞別&メッセージとして頂いた「栗山魂」です.*1 なお,サインは栗山英樹（北海道日本ハムファイターズ監督）さん直筆とのこと. TL;DR 野球エンジニアになります,2月から. 「夢は正夢」〜「なるんだ！」という強い気持ちであくせく頑張ることは本当に大切 次はNPBなりMLBの中でエンジニアになるんだ！ Starting Member TL;DR Starting Member 本当に「野球エンジニア」になります 夢は正夢〜「なるんだ！」という強い気持ちと頑張りは大切(プラス,応援ありがとうございます！) 今後のキャリアについて Rettyでの一年間と感謝 今後の活動について(例えばもくもく会とか) Pythonもくもく自習室@Rettyオフィスは継続します！ 今年の登壇予定（Baseball Play Study, PyCon JP 2018） 本当に「野球

2018/1/1時点で利用可能な、オープンデータの主要取得先を記載します。 1. 世界中の国や都市の情報 EUとイギリス Public Data EU http://publicdata.eu Open Data Europe http://data.europa.eu/euodp/en/home UK Government Data https://data.gov.uk アフリカ Africa Open Data https://africaopendata.org Code for South Africa http://code4sa.org Code for Africa https://codeforafrica.org アジア Open Cities Project http://www.opencitiesproject.org Open Nepal http://data

2017 明治安田生命 J1リーグ 優勝 川崎フロンターレ 【公式】川崎フロンターレ初優勝の瞬間！！2017明治安田生命 Ｊ１リーグ 最終節、逆転でのリーグ初優勝を果たした川崎フロンターレの歓喜で幕を閉じた2017シーズンのJ１リーグ。 まだ天皇杯が残っていますが、ひとまず今シーズンの戦いは終わりました。 昨年と同様、この時期に今シーズンのデータのまとめをやっておこうと思います。 前半戦振り返り、そして昨季のまとめエントリをトレースした格好にはなりますが、お付き合いください。 football-data-visualization.hatenablog.com football-data-visualization.hatenablog.com データはご覧の提供でお送りします。 www.football-lab.jp 【図１】パス成功率 × ボール支配率 の散布図 まず通例のパス成功率→

比較的読みやすい本を中心に紹介します。今後は毎年このページを更新します。 微分積分 高校数学をきちんとやっておけばそんなに困ることないような。偏微分とテイラー展開は大学演習のような本でしっかりやっておきましょう。ラグランジュの未定乗数法のような、統計・機械学習で必要になる部分は、ネット等で学べばいいかなと思っています。 線形代数 tensorflowなどのおかげで順伝播部分（行列積および行列とベクトルの積）さえ書ければ線形代数の知識はそこまでいらないんじゃないかという流れを感じます。しかし、主成分分析やトピックモデルなどの行列分解や、ガウス過程などのカーネル法のような様々なデータ解析の手法に一歩踏み込むと、きちんとした勉強が必要になります。理解しやすくて使いやすくて、統計や機械学習への応用を主眼においた線形代数の本はまだ見たことないです。機械学習シリーズとかで基礎から「The Matrix

(Photo via VisualHunt) 追記 2017年3月現在の最新書籍リストはこちらです。 最近になってまた色々とデータサイエンティストを目指す人向けのお薦め書籍リストとか資料リストとかが出てきてるんですが、個人的には何かと思うところがあるので僕も適当にまとめておきます。偏りありまくり、完全に主観で決めたリストなので文句が出まくるかと思いますが、もはや毎回のことなのでご容赦を。 なおこちらのリストはあくまでもビジネスの現場でデータ分析を生業にする（しようとしている）人たち向けのものであり、研究者含めたガチ勢の方々向けのものではありませんのでどうか悪しからずご了承下さい。 ちなみに毎回言ってますが、アフィリエイトは全くやっていないのでここに貼られたリンクを踏んで皆さんが購入されても僕の懐には一銭も入りません。拙著だけはそもそも例外ですが（笑）。*1 初級者向け5冊 一応初級者向けと

1. 野球Hack!~Pythonを用いたデータ分析と可視化 - The Art Of Programming A Baseball Game! - Shinichi Nakagawa@shinyorke PyCon JP 2015 Talk Session(2015/10/11) 2. Who am I ? • Shinichi Nakagawa(@shinyorke) • Recruit Sumai Company, Ltd. • Pythonista/Agile/Baseball Scientist • 贔屓チーム • 北海道日本ハムファイターズ(NPB) • オークランド・アスレチックス(MLB) • “野生の野球アナリスト”活動

Tweet 今回のグラフィックレポートは明治安田生命Ｊ１リーグの気温別データ。トラッキングデータ（走行距離、スプリント回数）はイメージ通り「涼しい」方がリーグ全体の数値が高かった。一方でパスは「暑い」時の方が高い成功率となった。 ※画像をクリックして拡大 チーム別にみると、平均走行距離が最も多い湘南は28℃以上の試合でも最多を記録している。 ※画像をクリックして拡大 （文章/データ提供：データスタジアム株式会社） データスタジアム株式会社 2001年設立。Ｊリーグ・プロ野球・ラグビートップリーグなどのデータを取得・蓄積・分析し、スポーツ団体やチーム・クラブ・選手に対して強化 や戦術向上のためのソリューションを提供。また、ファンやメディアに対してもデータを活用した様々なエンターテインメントコンテンツやスポーツの 新しい楽しみ方を提案。スポーツに関わるすべての皆さんに、データと独自のソリューシ

インターネットに接続する人は今や世界で約30億人に達する。携帯電話の契約件数も「１人１台」に相当する約69億件に上り、いつでもどこでもネットにつながる環境が急速に広がっている。特に新興国では携帯電話の普及が速く、先進国を追い抜く勢いだ。 （７月20日付の日本経済新聞朝刊参照） インターネットに関わる統計を探っていくと「お国柄」が浮かび上がる。交流サイト（ＳＮＳ）とのつながり方、スマートフォン（スマホ）の使い道……。日本のデータと照らし合わせながら、世界各国のネット事情を見てみよう。 出典情報をみる

1:以下、＼(^o^)／でVIPがお送りします 2014/06/11(水) 01:29:19.45 ID:1ybSD3q90.net

追記（2017年7月） こちらのスキル要件ですが、2017年版を新たに書きましたので是非そちらをご覧ください。 「データサイエンティストというかデータ分析職に就くためのスキル要件」という話題が某所であったんですが、僕にとって馴染みのあるTokyoR界隈で実際に企業のデータ分析職で活躍している人たちのスキルを眺めてみるに、 みどりぼん程度の統計学の知識 はじパタ程度の機械学習の知識 RかPythonでコードが組める SQLが書ける というのが全員の最大公約数＝下限ラインかなぁと。そんなわけで、ちょろっと色々与太話を書いてみます。なお僕の周りの半径5mに限った真実かもしれませんので、皆さん自身がどこかのデータサイエンティスト（）募集に応募して蹴られたとしても何の保証もいたしかねますので悪しからず。 統計学の知識は「みどりぼん以上」 データ解析のための統計モデリング入門――一般化線形モデル・階層

さて、皆様、こんにちは。今回も書きかけたまま、放置してたネタをやろうと思います。ネタの内容としては、Jリーグと観客動員の謎です。 じつは、先日、今年度のJリーグの観客動員が発表され、 http://footballgeist.com/audience　より 開幕から２０周年となった昨シーズン、Ｊ１とＪ２のリーグ戦やナビスコカップなどを合わせた全８４５試合の入場者数は９１６万５０９２人でした。これは前の年を４１万人余り上回って過去最多だった２００９年の９５７万人に次いで過去２番目に多い入場者となりました。 Ｊリーグ 厳しい経営続くクラブも こうなりました。 なんというか、客が減ってるので２ステージやろうぜ！とかいう建前をぶち壊すような話ですが、２０１３年は観客動員そのものは良かったようです。リーグ戦のみでは８３０万人、カップ戦込みだと９１６万人となっており、過去二番目に多い入場者数です。 こ

マイクロソフト社が技術分野でもっと熱い専攻の一つとして分析/統計をあげている（Microsoft JobsBlog）。同社以外でも統計学は、今後最も有益なスキルの一つだと考えているようだ（NYT - For Today’s Graduate, Just One Word: Statistics）。しかし、データマイニングの話も一般化しつつあって学習ノウハウなども公開されているが、経験にあわない部分が多い。統計学を初めて勉強するときに知っておいた方が良い7つのポイントをあげてみた。 1. 学習機会やテキストは山のようにあるので利用する 確率・統計の日本語テキストは山のようにあり、大学のコースワークを振り返っても、理文問わずにほとんどの学部で確率・統計はあったはずだ。大学院のコースワークでは英語の文献を好む傾向があるが、上級テキストでも日本語のものも少なくない。また「マンガでわかる統計学」のよ