会社で分析業務を行う際、SQLを書いて可視化というよりかは、もうすこし楽な手段がないか探していた。 社内ではjupyterhubの環境があるが、実はjupyter notebookを今まで触ったことがなかったので、心理的ハードルが高い状態にあった。 かんたんな分析ができるようになるまでのロードマップ1. jupyter notebookに慣れる 2.データインポートのやり方を知る 3.pandasの使い方を知る 4.可視化を知る という感じで道のりを考えた。 とりあえず、下記の本を読んで写経していると,pandasの扱い方がわからないとなんともわからんなと思った。

講座内容 本コースでは、データ分析の基礎を学習する。コースは、身近なデータの具体的な例をあげながら、その種類の違いを理解しそれぞれに適した処理法やグラフ・表による整理の方法を学ぶ部分と、データが持つ特徴やデータ間の関連性を説明するために、数値を用いたデータの要約の方法を学ぶ部分から構成されている。また、統計の活用が、特に公的な場で、どのようになされているのかを学習する。 各回のテーマ 第１週：統計学への誘い 現代社会における統計学 このコースの概要 統計学の歴史 データ分析の流れ データの種類 データセットの例 データから情報を得る 第２週：統計グラフと質的データの要約 質的データのまとめ方 事始め 統計グラフ(1) -円グラフと棒グラフ- 統計グラフ(2) - 帯グラフとまとめ- 2変数のデータのまとめ方：クロス集計表 クロス集計表における諸種の測度 多重クロス集計表 多重クロス集計表に

製造現場で品質管理を行なっている人には怒られそうだが、日本の実業分野で統計学の利用が早くから進んだところの一つが、生産管理の現場だ。戦後すぐにデミングがアメリカからやってきて、粗悪な日本製品の品質向上のために、日本科学技術連盟に品質管理の統計手法の重要性を吹き込んだことに由来する*1。今でももちろん有用なのだが、普及は昭和だ。 たまにマーケティングやトラヒック分析に統計学を使っている人々が、自分たちこそが統計学の実業利用の先駆者のような顔をしているのだが、統計学の産業利用自体は古くから行なわれている事を指摘したくなる。それにはメディアが戦前からやっている世論調査*2でも良いのだが、産業が小さすぎるきらいもあるので、品質管理の方が良いであろう。 こんな邪な目的のためにも、学部の統計学の入門テキストがちょっと重く感じる生産現場の人にも良い本が紹介されていた。「品質管理のための統計手法」は、品質

確率統計の勉強会資料を大幅に改定しました。数式を最小限にし、統計分析のためのトピックを総覧的に資料化しています。 2021/11/20 内容や記載を拡充しました（合わせて　SpeakerDeckに移動しました） https://speakerdeck.com/hidekatsu_izuno/que-lu-tong-ji-ji-jie-xue-xi-sofalseqian-ni Read less

ネットには「無料」で貴重な情報がたくさんある。統計学の教科書から、戦略コンサルによる「変革」の指南書まで、様々なコンテンツをまとめてみた。 OpenIntoro - 統計学の教科書 436ページの統計学の教科書が無償ダウンロード(PDF)可能。Openintroという米大学の教員などが「オープンソース」の試みとしてまとめた仕事で素晴らしい。編者の一人のミシガン大の教員によるCourseraの講座もある。 PDFファイルはこちら BCG - 「企業変革」の手引き 戦略コンサルのBCGによる「変革」の指南書。167ページのPDFが無償でダウンロード可能で、Kindleファイルも提供されています。かなり包括的に整理されており非常に参考になります。トップコンサルファームのこういった資料も無料で提供されるというのは本当にいい時代です。 PDFファイルはこちら Kindleファイルはこちら SaaS

統計の学習をすると、難しい数式が出てきて躓くことも多々あると思います(経験談)。「入門」とつくタイトルの本であっても、数学当然知っているよ人間が書いていて、全然理解できないことが多いハズ。 筆者もそんな状態から2年間、試行錯誤をしながら学習し、「入門した！」ぐらいは自信を持って言えるようになりました。ただ、入門しただけなので、それより先は未知の分野です。 2年前の自分自身にアドバイスするつもりで、この記事を書きます。 関連する記事は以下のとおりです。 文系卒社会人が統計・機械学習を理解するための数学勉強方法 高校数学復習を終えると統計学の入門ができるのか？ 文系卒社会人が統計入門でのモヤモヤを克服した話 #時間と目的別学習方法 統計の裏には数学が密接に関連しています。しかし、数学はどうしても苦手な人もいますし、全ての統計を学習する人が数学のような時間がかかる基礎レベルから理解する必要はない

講義ノートの目次へ 統計学の基礎を学ぶための講義ノートPDF。 大学の入門レベルの統計学（データ分析や確率論の基礎）を，独学でマスターできるオンライン教科書や講義資料。 データがあふれる時代なので，データの扱い方を身につけよう。 たくさんのデータを扱うときには，自然と統計学が必要になる。 データの特徴を見抜いたり，部分的な情報から全体を推測したり，仮説を立てて検証したり。 初歩的な統計学の要点は… 平均や分散などの統計量・データの特徴量 正規分布や二項分布などの分布 標本を使った母集団の推定 検定による仮説の有意性の判断 回帰分析によるモデリング 中心極限定理・大数の法則などの数学的な理解 といったところ。 理論に加えてExcelやR言語も使いつつ，実際のデータ分析に応用する力をつけよう。 これがわかれば，数式をバリバリ使った「数理統計学」や「確率論」， 本格的な「確率統計・ベイズ統計」「

Perfume「Dream Fighter」より ねぇ、みんなが言う「普通」ってさ、なんだかんだって、実際は多分、「真ん中」じゃなく～、「理想」に近い～、 Perfume「Dream Fighter」より ねぇ、みんなが言う「普通」ってさ、なんだかんだって、実際は多分、「真ん中」じゃなく～、「理想」に近い～、 だけど「普通」じゃまだ物足りないの～♪ っていうのは、年頃の女の子の様々な憧れの対象の分布は下図のような曲線型になっているか、もしくは健全な自己顕示欲からそのように映っていて、「中央値」と「平均値」「最頻値」がごっちゃになっているからではないですか？

2. 自己紹介 ・Facebookページ https://www.facebook.com/matsukenbook ・Twitterアカウント @kenmatsu4 ・Qiitaでブログを書いています（統計、機械学習、Python等） http://qiita.com/kenmatsu4 （3500 contributionを超えました！） ・趣味 - バンドでベースを弾いたりしています。 - 主に東南アジアへバックパック旅行に行ったりします （カンボジア、ミャンマー、バングラデシュ、新疆ウイグル自治区 etc） 旅行の写真 : http://matsu-ken.jimdo.com Twitterアイコン

(Photo via VisualHunt) 追記 2017年3月現在の最新書籍リストはこちらです。 最近になってまた色々とデータサイエンティストを目指す人向けのお薦め書籍リストとか資料リストとかが出てきてるんですが、個人的には何かと思うところがあるので僕も適当にまとめておきます。偏りありまくり、完全に主観で決めたリストなので文句が出まくるかと思いますが、もはや毎回のことなのでご容赦を。 なおこちらのリストはあくまでもビジネスの現場でデータ分析を生業にする（しようとしている）人たち向けのものであり、研究者含めたガチ勢の方々向けのものではありませんのでどうか悪しからずご了承下さい。 ちなみに毎回言ってますが、アフィリエイトは全くやっていないのでここに貼られたリンクを踏んで皆さんが購入されても僕の懐には一銭も入りません。拙著だけはそもそも例外ですが（笑）。*1 初級者向け5冊 一応初級者向けと

こんにちわ、昨日今日のデータエンジニア ひろぽん(hiroponius)です。 データ分析の部署でお仕事するようになって１年、 それまでのWeb（しかもフロント）系とはぜんぜん異なるノウハウが要求される中、 「このままでは円滑な業務遂行に差し支えが、統計の勉強せんと！」 「Rとかちゃんと使えるように！」 「ていうか、データともっと深い感じになりたい！」 ということで、まさに今年2014年がんばった軌跡、主に参考にした本について。 たぶん、以下のような状況でなおかつ統計学勉強したいなーと思ってる人に、 ちょっと役に立つ内容になってるはず、です。 （学習するにあたってのマイルストーンは統計検定2級合格レベルです。） いわゆる文系、ちゃんとした数学教育は高校まで 中学校課程の数学までは理解できる／具体的な数式で解ける 微分積分は「見たことあるし解いてたはずなんだけど忘れた...」 Σ... がん

経済学部1年生対象の統計学の講義で用いた資料です。統計学を学び始めた学生さんに、企業で統計学を用いるとはどういうことかを紹介し、就活や仕事でも役立つと言うことを説明しました。 学生さんの統計学を学ぶモチベーションを高められたら幸いです。Read less

6. １．統計学の基礎 1.1 統計学とは 1.2 統計データと統計手法 1.3 統計データの分析プロセス ２．1次元のデータ 2.1 度数分布とヒストグラム 2.2 代表値 2.3 散らばりの尺度 ３．2次元のデータ 3.1 2次元のデータとは 3.2 散布図と分割表 3.3 相関係数 3.4 直線および平面のあてはめ ４．確率 4.1 ランダムネスと確率 4.2 標本空間と事象 4.3 確率の定義 4.4 加法定理 4.5 条件付確率と独立性 ５．確率変数 5.1 確率変数と確率分布 5.2 確率変数の期待値と分散 5.3 モーメントとモーメント母関数 5.4 チェビシェフの不等式 5.5 確率変数の変換 ６．確率分布 6.1 超幾何分布 6.2 二項分布とベルヌーイ分布 6.3 ポアソン分布 6.4 幾何分布と負の二項分布 6.5 一様分布 6.6 正規分布 6.7 指数分布 6.8

前回リストの記事から半年ぐらい経ちましたよー、ということで初心者向けに関しても書籍リストをアップデートした最新版のリストをお送りします。あまり中身が変わってないかもしれませんが、かぶっている本は良い本だということで（笑）。 ところで、昨年秋に比べると「これから統計学・機械学習について学びたい！」という人たちの動機が変わってきているような気がしなくもないんですね。以前は主に「エンジニアでこれからデータ分析について学びたい」という層が多かったんですが、最近になって「営業や企画をやっているんだけど数字を見る際にデータ分析とか知っていると良いことがありそう」という層が増えてきているように見聞します*1。 そういう意味で言うと「エンジニア向けの本を推薦するのが必ずしもベストとは限らない」という側面もありそうなんですが、それは次回までの宿題ということで、今回も基本的にはエンジニア向けの本を一旦揃えてみ

本稿では統計学・データマイニング・機械学習関連書籍について 内容が易しいこと。数学力（特に微積・線形代数）を求められないこと 入手しやすいこと。絶版や学会に入らないと入手不可などではない、値段が安いこと 実務に繋げやすいこと。 持ち運びしやすいこと。忙しい新社会人が通勤中や休み時間ポケットからさっと取り出し、継続して勉強出来ること を主眼に選定したお薦め書籍を紹介します。 （満たせない要望も多いですが） 主な対象者は、文系で数学や統計学をやってこなかった、 プログラミングもわからない（Excelで四則演算やマウス操作くらいは使える） けどいつかマーケティングやデータマイニングやってやるぜ！ って考えてる新卒の方です。 筆者自身は経済学科出身の文系で、あまり数学力に自信がないなりに Web企業でデータマイニングをしているという人間です。 ここで紹介している内容で 「統計学・機械学習・データマ

データサイエンティストブームが去りつつある一方で、データ分析ブームそのものはじわじわと広がり続けている感じのする昨今ですが。最近また、色々なところで「本当にビジネスやるのに統計学って必要なの？」みたいな話題を聞くことが増えてきたので、何となくざっくりまとめて書いてみました。 ちなみに今回の話題の参考図書を挙げようと思ったら、この辺ですかね。 とある弁当屋の統計技師(データサイエンティスト) ―データ分析のはじめかた― 作者: 石田基広,りんと出版社/メーカー: 共立出版発売日: 2013/09/25メディア: 単行本この商品を含むブログ (13件) を見る 統計学入門 (基礎統計学) 作者: 東京大学教養学部統計学教室出版社/メーカー: 東京大学出版会発売日: 1991/07/09メディア: 単行本購入: 158人 クリック: 3,604回この商品を含むブログ (78件) を見る 本当は赤

発売から間もなくその内容についてTwitter上で妙な伝聞やら伝言ゲームが飛び交っていたこの本。実は僕もその伝言ゲームに巻き込まれた*1もので、だったら現物を読んで書評してやろうじゃないかということで有楽町の三省堂で買ってきたのでした。それがこちらです。 データサイエンス超入門 ビジネスで役立つ「統計学」の本当の活かし方 作者: 工藤卓哉,保科学世出版社/メーカー: 日経BP社発売日: 2013/11/07メディア: 単行本この商品を含むブログ (1件) を見る 書店によっては山積みになってるところもあるようですが、僕が買いに行ったところでは残り3冊ぐらいといった感じでした。もしかしたらもう売れちゃったということだったのかもですが。 ざっくり内容紹介 Amazonの書籍ページから目次をそのままコピペしてきました。全部内容を紹介していったらきりがない*2ので、章ごとにかいつまんで要約を。 第

The Ballon d’Or is the most prestigious award in world football, given each year to the player deemed by journalists to have been the best on the planet. Perhaps sensing that he was nowhere near winning it in 2018, Brazilian superstar Neymar didn’t even show up to this year’s event, instead spending the night playing …