前のブログ開設から合わせて9年？ですかね。結構長くやってますな。 更新頻度は少なくなってきてますが、ぼちぼち続けます。読んで下さっている方には、これからも、よしなに。 今年の振り返りとして、読んで、良かったな、と思った本の紹介。 ▼ プログラムはこうして作られるプログラマの頭の中をのぞいてみよう 作者: 平山尚(株式会社セガ)出版社/メーカー: 秀和システム発売日: 2013/09/25メディア: 単行本この商品を含むブログ (5件) を見るプログラミング関連の本で、全くの初学者向けのものとしては、私が知っている中で最良。用語より概念と構造を先に教える、という私の標語？に合致しています。これこれこういう用語がある。その用語はこういう意味・定義である、というのは、その語を知らない人にとっては、用語と概念を一緒に憶える必要があって、それは負担。そうでは無くて、これこれこういう論理構造や概念があ

＃10/31追記 データフレームの内容をテキスト化 - r-statistics-fanの日記 なんとdput()関数で目的のことは出来るようです。 苦労する必要はなかったんや～ ＃＃追記終了 メールやblogなどで、自分の環境上のデータフレームを記載したいことがある。 しかし、a <- c(1,3,5)などといちいち手入力するのは大変。 データフレームの内容を自動でそのまま、Rにコピペできる形にできたら楽ですよね。 そんな関数。 ＃2014.10.30一部バグ修正 以前作った関数を少し改良した。 慶応がベストのデータも、これを使った。 まずエクセルに入力、次にRに読み込み、df2txt()でコピペ という流れだ。日本語でも行けたのでまずは良しとする。 ただ、まだ日付がなあ。例外的なものにも弱いし。 df2txt <- function(new.data = "dat", dat = da

赤ちゃんに保湿剤を塗るとアトピー性皮膚炎が減るらしい。 赤ちゃんに毎日保湿剤 アトピー減 生後まもない赤ちゃんの皮膚に保湿剤を毎日塗ると、アトピー性皮膚炎になるリスクを30%減らすことができたとする研究成果を、国立成育医療研究センターのグループが発表しました。 特定の方法にアトピー性皮膚炎の予防効果があると証明できたのは、これが初めてだということです。 この研究を行ったのは、国立成育医療研究センターの斎藤博久副研究所長らのグループです。 グループでは、アトピー性皮膚炎になった家族が1人以上いる、生後まもない赤ちゃん118人を無作為に半分に分けました。 そして、一方のグループの赤ちゃんには、一般の薬局などで売られている保湿剤を毎日、全身に塗り、もう一方のグループでは皮膚の乾燥している部分にのみワセリンを塗りました。 そして8か月後に調べたところ、保湿剤を塗った赤ちゃんのグループでは19人がア

ほんのわずかな初期の要因の変化が最終的に思いがけないほど差のある結果を招く現象を「バタフライ効果」と呼びますが、そんな現象は身近なところでも起こっているのかもしれないと思わせるような、一見すると関係のない2つのデータに相関性を見いだすプロジェクトが「Spurious Correlations」です。 Spurious Correlations http://www.tylervigen.com/ 1999年～2009年までの「アメリカの科学・宇宙・テクノロジーに関する支出」と「首つり自殺数」の上昇傾向が一致。 「水泳プールでの溺死数」と「ニコラス・ケイジの映画出演数」が、なぜか似たような傾向で上下しています。つまり、ニコラス・ケイジが映画に出演しなければプールでの事故が激減するのかもしれません。 「アメリカ人1人あたりのチーズ消費量」と「ベッドシーツに絡まって死亡する数」がほぼ一致。 「ア

こんにちは。林岳彦です。先日、小学生の息子とセブンイレブンに行きました。そこでふと、「あの外壁、あれ本物のレンガじゃなくてただの印刷だから」と息子に教えたところ、それが彼にとっては思いもよらぬことだったようで、実はすべすべとしている外壁に触っては「すっかり騙されてた！（ガーン）」と衝撃を受けていました。小さな子どもをお持ちのみなさま、この世の隠蔽された真実（＝セブンイレブンの外壁は印刷）を彼ら／彼女らに教えてみると面白い反応が期待できるかもですよ！ さて。 今回は、前回の記事の続きとして、確率という概念の「規格」について説明していきたいと思います。 （今回はとても長い上に内容がハードかもしれません。いつもながらすみません。。） 前回の軽いまとめ 前回の記事では： 少なくとも、「確率」とは「可能性を数値で表したもの」である というボンヤリとした出発点から： 「可能である」ということは、「この

どもっす。林岳彦です。さいきん軽い気持ちで某国際誌の総説論文の査読を引き受けたのですが、「どんな論文だろ？」と思いつつ査読対象の原稿をいざダウンロードしてみたら本文100頁アンド全体300頁もある超長尺の総説であることに気づき、「殺す気か！」「査読テロやで！」と思いました。 いやでもまじで300頁もレビューするの？ この悲しみをどうすりゃいいの？ 誰がぼくを救ってくれるの？ この世はまさに大迷惑？？？ というかんじです。もう街のはずれでシュビドゥバーです。 いやもうホントに「レビュワー感謝の日」みたいの作ったほうが良いよね。 というわけで。 今回から、確率概念について説明していきたいと思います。 （今回も非常に長い記事になってしまいました。すみません。。。） 確率という概念の「規格」について、様相論理を経由して説明します 前回の今シリーズの概要説明の記事で書いたように、まずは、確率という概

出力変数（被説明変数）がYes/Noみたいな２値で表されるようなモデルを学習させたい場合についてググるとロジスティック回帰とかプロビット回帰とか出てきて、 「どうやらロジスティック回帰を使うのが定石っぽいけど、プロビットっていう良くわからないのがいっつもくっついて説明されてて困るなぁ」 と思ったりするのは僕だけじゃないはず。そこで自分なりに違いを考えたのでシェアしてみます。 問題１（プロビットが合う） 「ある人の年齢Nを聞いたとき、その人が既婚者か」を確率P(N)で表わすという問題を考えてみます。 結婚という「変化のイベント」について考えると、なんとなく平均結婚年齢あたりにピークがあって、その前後ではなだらかに頻度が少なくなっているイメージがあります。なのでその分布を正規分布だとしましょう。そうすると、年齢Nを聞いたときにその人が結婚してるかどうかは、正規分布の累積分布関数P(N)、すなわ

お久しぶりです。林岳彦です。もうすぐ『愛なき世界』の日、いわゆる（マイブラッディ）バレンタインデーですね。何かと雑音が多いこの世界ですが、いつでも自分の足元を見つめて行きましょう。 さて。 今回は、以下の： そもそもビジネスの現場ではどういう「レベル」の統計学を使うべきなのか - 銀座で働くデータサイエンティストのブログ 統計学的検定に対するある拒絶反応: ニュースの社会科学的な裏側 A/Bテストのガイドライン：仮説検定はいらない（Request for Comments｜ご意見求む） - 廿TT のあたりの皆様の良記事に触発されて「仮説検定」について何か書いてみようと思いました。で、書こうと思えば色々な側面から書ける気もするのですが、今回はちょっと斜めからのアプローチとして、「リスク分析の人の頭のなかで仮説検定はこんな感じに見えている」というところを書いていきたいと思います。 ここで、ひ

ベイズ統計学の基礎概念からW理論まで概論的に紹介するスライドです．数理・計算科学チュートリアル実践のチュートリアル資料です．引用しているipynbは * http://nhayashi.main.jp/codes/BayesStatAbstIntro.zip * https://github.com/chijan-nh/BayesStatAbstIntro を参照ください． 以下，エラッタ． * 52 of 80：KL(q||p)≠KL(q||p)ではなくKL(q||p)≠KL(p||q). * 67 of 80：2ν=E[V_n]ではなくE[V_n] → 2ν (n→∞). * 70 of 80：AICの第2項は d/2n ではなく d/n. * 76 of 80：βH(w)ではなくβ log P(X^n|w) + log φ(w). - レプリカ交換MCと異なり、逆温度を尤度にのみ乗す

どもっす。林岳彦です。先日、某所で統計解析の講師役をしました。その際に解析環境の準備の手間を省こうと思って、Amazon EC2上にRStudioのサーバー版を立てて、聴講者にそこに繋いでもらって実習をしようとしたのですが、いざ皆が繋いだらサーバーがクラッシュしまくって実習が全く進みませんでした*1 。。。すみませんでした(泣)*2。。 さて。 良かれと思ったもので逆に墓穴を掘る、というのは人生ではよくあることですよね！ 前回の「合流点の追加によるバイアス」はそんな例の一つでしたが、今回の「後編」ではそのようなもう一つの例として、「中間変量の追加によるマスク」のケースについて見ていきます。 因果関係があるのに相関が見られないケース（４）：中間変量によってマスクされている はい。では、中間変量によって因果効果がマスクされてしまうケースを見ていきます。 ここで「中間変量」というのは、「A→Z」

気候の予測型シミュレーションに使われるモデルの位置づけは、シミュレーション一般と分けて考える必要があるかもしれない。 ここでは、シミュレーションモデルとして、現実世界の数量と定量的に関係づけられるような変数を含んでいるものを考える(すべての変数が定量的である必要はない)。また、モデルの中の世界で時間とともにものごとが変化しうるものを考える(たまたま定常状態にあることがあってもよい。なお、モデルの世界の日時は必ずしも現実の世界の日時に対応づけられなくてもよいとする)。このようなモデルは今ではたくさんある。経済に関するものが多いだろう。 その中で、気候モデルの主要部分となっている大気・海洋それぞれの大循環モデルは、物理法則を基礎としているという特徴がある。計算機上の数値モデルの特徴というよりは、その基礎となる概念モデルの特徴というべきだろう。具体的には、運動方程式、質量保存、エネルギー保存、状

どもっす。林岳彦です。ファミコンソフトの中で一番好きなのは『ソロモンの鍵』です*1。 さて。 今回は、因果関係と相関関係について書いていきたいと思います。「因果関係と相関関係は違う」というのはみなさまご存知かと思われますが、そこをまともに論じていくとけっこう入り組んだ議論となります。 「そもそも因果とは」とか「因果は不可知なのか」のような点について論じるとヒュームから分析哲学（様相論理）へと語る流れ（ここのスライド前半参照）になりますし、統計学的に因果をフォーマルに扱おうとするとRubinの潜在反応モデルやPearlのdo演算子やバックドア基準（ここのスライド後半参照）の説明が必要になってきます。 その辺りのガッツリした説明も徐々に書いていきたいとは考えておりますが（予告）、まあ、その辺りをいちどきに説明しようというのは正直なかなか大変です。 なので今回は、あまり細かくて遭難しそうな話には

どもです。林岳彦です。道に倒れて誰かの名を呼び続けたことはありません。 さて。 自分の頭の中でそろそろ「統計的因果推論に関するエトセトラ」が繋がってきた感がある*1ので、一度棚卸のために（クオリティは未だ低いものになるかもしれませんが）エトセトラのひと通りについて書いてみたいと思いました。 だいたい目次は以下の通りになる予定です： 統計的因果推論ノート：「正しいセカイの切り取り方」（予定目次） 統計的因果推論ノート1　そもそも"因果"って？：Hillの基準、ヒューム、反事実 統計的因果推論ノート1補遺1　よくある確率概念の分類：主観的、客観的、あるいは間主観的な 統計的因果推論ノート1補遺2　"可能性"の集合的理解：ケインズからコルモゴロフ、あるいは可能世界から確率へ 統計的因果推論ノート1補遺2の補遺1　"交換可能性"を想定するということ：可能世界から見るロールズと公共政策 統計的因果推

「手に職」があれば一生食うには困らないという考えは、私の子供の頃から周りにあった。日本の景気はオイルショックのような事態を乗り越えながら、右肩上がりだった時代だ。その頃はサラリーマンであることが普通になっていたが、彼らはあくまでも会社の中で割り当てられた仕事をこなさなければならず、業務に一貫性がないことも多かった。一方、医者や弁護士をはじめとする、専門職、特に資格につながっている職業は定年もなく一生働けると考えられていた。 ある程度は正しいと思う。今でもある程度は正しいのだ。だが、専門職の業務単価は確実に下がってきているらしい。 大きな原因としては技術の進歩がある。高度な技術を持つ人でないとできないようなことを、機械やソフトウェアで簡単に実施できるようになってきたのだ。よって、専門職とはこれらのツールを正確に使いこなせる存在というものに変わりつつある。過去のような素人と専門職の間に、何年た