ソフトウェア開発の原点は可能性の追求であり、不可能を可能にすることです。ひとたび ソフトウェア が開発されると、エンジニアは次に 程度 という課題に向き合うことになります。企業向けのソフトウェアであれば、「速度はどれくらいか」と頻繁に問われ、「信頼性はどの程度か」という点が重視されます。 ソフトウェアのパフォーマンスに関する質問に答え、さらには正しい内容を語る上で欠かせないのが統計学です。 とはいえ、統計学について多くを語れる開発者はそうはいません。まさに数学と同じで、一般的なプロジェクトで統計学が話題に上ることなどないのです。では、新規にコーディングをしたり、古いコードのメンテナンスをしたりする合間に、手が空くのは誰でしょうか？ エンジニアの方は、ぜひ時間を作ってください。近頃は、15分でも貴重な時間と言えるでしょうから、 こちらの記事をブックマークに追加 しておいてもいいでしょう。とに

「第5回 プログラマのための数学勉強会 発表資料 (2015/11/21[sat])」 内容は統計学の素養がある方には基本的な事項ですが、ベクトルと内積で見方を変えてみたという点と、あまり統計学に親しみがない方にも理解してもらえるようなまとめになっている、というところに本スライドの独自性があると考えていますので、その辺り良ければご覧ください＾＾Read less

データ分析で大切な４つのこと トレジャーデータはクラウドでデータマネージメントサービスを提供しています。 2. 誰のために・何のために分析をやるのかを意識する大切さ そもそも誰の・何のために分析をするのかという意識を常に明確にしておくことはとても重要だと思っています。 人間の意志決定を支援するために解析をすること・解析結果自身が意志決定を行うのではないこと Amazon や Google など多くのデータ先進企業では，例えば「リコメンデーション」「ページランク」「需要予測システム」など，分析結果自身が意志決定を行うようにデータが活用されています。この用途目的においては機械学習や統計モデルといった高度な手法が駆使され，データから機械的にベター（ベストとは限りません）な解をもたらし，それが自動的にサービスに適用されて回っていきます。これらは基本的に大規模なデータセットを参照したりリアルタイムに

経済学部1年生対象の統計学の講義で用いた資料です。統計学を学び始めた学生さんに、企業で統計学を用いるとはどういうことかを紹介し、就活や仕事でも役立つと言うことを説明しました。 学生さんの統計学を学ぶモチベーションを高められたら幸いです。

ウィリアムのいたずらが、街歩き、食べ物、音楽等の個人的見解を主に書くブログです（たま～にコンピューター関係も） IBM Xcite 2014に今日(9/12)行って来た その内容、メモメモ。 まずは、基調講演 ５月より、具体的ソリューション ■データ、クラウド、エンゲージメントによる企業改革 春から１１３日たった。 この期間、どんなものだったか この間、日本で生成だれたデータ、情報 →ＤＶＤ　１億７千万枚のＤＶＤがいる →富士山の高さの５４００倍 ３つの戦略的変化 ・データ 天然資源としての モバイルデータ通信量２０１７年までに日本１人当たり１４倍 ・クラウド ２０１６年までにソフトの５分の１がクラウド用 ・エンゲージメント ８０％　ソーシャル・メディアを使用する８０％の人々が 個人情報を共有 ＩＢＭがしたこと ・プレス発表 IBM Cloud marketplace クラウド・イノベーシ

ある国際会議のkeynote Speechの中で紹介されていた話。非常に面白かった。 Wired: How a Math Genius Hacked OkCupid to Find True Love 「いまどきの若い男は、なんでもコンピュータか！」とか思われるかもしれないけど、何をしたのかを読んでみると「これって、単なるナンパの方が楽だったんじゃないか？」と思わされる。 登場人物のスペック この人の経歴がアメリカ的。 名前：Chris McKinlay (35歳） 経歴 2001年：Middlebury College を卒業。専攻は中国語 同年：世界貿易センターで中国語から英語への翻訳のアルバイト。アルバイトを辞めた5週間後に9・11。 〜2002年：その後、友達に誘われて、an offshoot of MIT’s famed professional blackjack team に

訳者まえがき まえがき 1章　はじめに 1.1　この本で説明する内容 1.2　なぜPythonはデータ分析者におすすめなのか 1.2.1　「糊（グルー）」としてのPython 1.2.2　「2つの言語を利用する」ことの問題を解決する 1.2.3　Pythonを使わない場合 1.3　本書で扱う重要なPythonライブラリ 1.3.1　NumPy 1.3.2　pandas 1.3.3　matplotlib 1.3.4　IPython 1.3.5　SciPy 1.4　インストールとセットアップ 1.4.1　Windows 1.4.2　Apple OS X 1.4.3　GNU/Linux 1.4.4　Python 2とPython 3の相違点 1.4.5　統合開発環境（IDE） 1.5　コミュニティとカンファレンス（会議） 1.6　この本の読み方の案内 1.6.1　コード例 1.6.2　例として用

転職して丁度2年がたちました。 現在はWebベンチャーで統計屋しています。大変楽しい毎日です。 なぜ楽しいかというと勿論リスプを書いているからというのも大きなる理由の一つです*1。 このエントリでは何が楽しいのか近況交えてつらつらまとまりなく書いてます。 あと現職の解決しがたい不満についても書いています。 糞長くなってしまったので要約すると 「今糞面白いけど超えられない壁あるので誰か助けて」 です。 現職面白い理由5個。 1．データが面白い*2 私は経済学科・数理統計の研究室出身で、応用先としてコミュニケーション活性化を目的とした 行動経済学やテキストマイニングをやっていました。 そういう背景があるため、学生時代いつか壮大な社会実験をやりたいと思ってたけど、 それには大変なお金がかかったり大がかりなシステムを構築しないといけなかったりで断念した。 ですが今はSNSやソーシャルゲームや広告の

ベイズ統計学の基礎概念からW理論まで概論的に紹介するスライドです．数理・計算科学チュートリアル実践のチュートリアル資料です．引用しているipynbは * http://nhayashi.main.jp/codes/BayesStatAbstIntro.zip * https://github.com/chijan-nh/BayesStatAbstIntro を参照ください． 以下，エラッタ． * 52 of 80：KL(q||p)≠KL(q||p)ではなくKL(q||p)≠KL(p||q). * 67 of 80：2ν=E[V_n]ではなくE[V_n] → 2ν (n→∞). * 70 of 80：AICの第2項は d/2n ではなく d/n. * 76 of 80：βH(w)ではなくβ log P(X^n|w) + log φ(w). - レプリカ交換MCと異なり、逆温度を尤度にのみ乗す

FIT2012で行われた「ビジネスで生きる機械学習技術」セッションの招待講演資料です。 http://www.ipsj.or.jp/event/fit/fit2012/program/data/html/event/event_A-7.html 【講演概要】 世の中で得られる知見の多くは、何らかの観測対象の時間変化や、観測対象グループにおける珍しい個体の出現を捉えたものと考えることができます。特に急速な変化や異常な個体の検出するための異常検知技術は、ビジネスにおけるデータ収集・蓄積インフラの浸透とともに応用が広がっています。従来は、蓄積されたデータを目で見て確認する、閾値を設けてアラートを出す、あるいは経験に基づいて異常パターンをルール化する、などのアプローチが主流でした。しかしながら、収集できるデータの変数と量が飛躍的に増大する中で、比較的単純かつ過去に起きた異常のみ扱えるルールベース手

はじめに 今回は、ウェブを通じて無料で読むことができる統計に関する書籍を紹介したい。英語で書かれた本が多いが、日本語で書かれた本も若干ある。 入門書 まず、統計の初学者のために書かれた入門書を紹介したいと思う。 福井正康 (2002). 『基礎からの統計学』基礎から扱っている統計の入門書である。統計を扱う際に必要となる場合の数、確率などについて詳しく説明している。理解を助けるための演習問題とその解答がついている。統計処理用のソフトとしてはExcelを使っている。同じサイトに社会科学系の学生向けの数学の教科書もある。 小波秀雄 (2013). 『統計学入門』基礎から扱っている統計の入門書。内容としては、記述統計、確率、確率分布、簡単な推定・検定、相関と線形回帰などがある。確率や確率分布などの理論的な話が占める分量が多いので、分量のわりには、具体的な統計手法はあんまり載っていない。もちろん理論

人気の高いオープンソースのツール、RとRubyを使い、生データを処理し、シミュレーションし、仮説を立て、統計的手法を用いて検証する、というデータ解析の基本の理解を促します。基本が学べるだけでなく、自分のメールボックスや自分の心臓の鼓動など身近な題材を対象としており、データサイエンスの醍醐味を味わうことができる一冊です。日本語版ではさまざまな統計分析手法についての入門となる章を追加。この本で使っている統計の基礎も学べる構成になっています。プログラマ視点で書かれた本書は、ビッグデータを活用するためのスキルを身に付ける必要に迫られた多くの開発者にとっても貴重な情報源となるでしょう。 関連ファイル サンプルコード 正誤表 ここで紹介する正誤表には、書籍発行後に気づいた誤植や更新された情報を掲載しています。以下のリストに記載の年月は、正誤表を作成し、増刷書籍を印刷した月です。お手持ちの書籍では、すで

はじめに なぜか唐突にRブームが俺の中でやってきてしまってどうしようもないので、Rの本を注文しまくってたりしていたら、下のような本の山が出来てしまいました。 これらの本を付箋でペタペタしながら読み進めていくうちに、段々とRというのはどういう言語で、どういう風に勉強するといいのか、という方針が固まってきたので、ここにメモをしておきます。 Rとはどのような言語か 一言で、しかも乱暴に言ってしまうならば「統計に特化したPHP」というのが一番雰囲気を伝えられるかもしれない。いや、PHPの悪評は知っているし、ガチでRをやっている人にとっては嫌がられることもわかっているけど、あえてそういう説明が、あくまで入り口としてはわかりやすいのではないかと。 どういうことかというのを言い訳します。 自分が読んだ感じだと、統計というのは、「何らかのデータ」と「分析するためのツールとしての数式」と「その数式が意図する

（※今回の記事の内容はかなり難解かもです） 大竹文雄の経済脳を鍛える（2月13日分記事） 幾何ブラウン運動と見せかけの回帰 - My Life as a Mock Quant 得てして多くの企業では、「毎日の数字（売上高・利益・在庫etc.）を追いかけ」、「その結果を元手に毎日改善する」ということを日々励行しているのではないかと思います。 ところで、こんな体験したことはありませんか？ 「毎日毎日、物凄く一生懸命数字を見ながら頑張ってカイゼンし続けて、確かに頑張った時は数字は上がったし、頑張りが足りない時は数字が下がった。それに一喜一憂しつつもずっと物凄く頑張り続けた・・・でも、あれからもう数ヶ月経ったのに全体としては数字は下がってきている。どうしてなんだろう？？？」 なるほど、もしかしたらその時の改善努力が正しくなかったのかもしれません。でも、実は「そもそも改善努力と数字とは何の関係もなか

私がよく参考にする所を三箇所紹介します。いずれも、説明が極めて明瞭で、論理的な整合性や用語の丁寧な使い方を志向している所に好感が持てるサイトです。 ▼Econom01 Web Site, Sophia University, Tokyo, Japan 上智大学の大西博氏のサイト。私が統計関連で最もよく参照する所です。説明の仕方の明瞭さや、具体例を用いた解説がとても良いと思います。確率統計の一つ一つの概念について、大変丁寧に説明されています。たとえば、「相関（および因果関係）」については、 ２つの変数の同時分布と、その条件付き分布は、変数の間の数量的結び付きを示しています。この数量的結び付きは、統計的頻度分布として観察されるものであり、現象の背後にある実態的な「関係」や「構造」から導かれる法則性を必要としません。 例えば、人間の身長と体重とは密接な統計的分布関係を持っていますが、両変数を決定