統計データを探す すべて 分野から探す国土・気象人口・世帯労働・賃金農林水産業鉱工業商業・サービス業企業・家計・経済住宅・土地・建設エネルギー・水運輸・観光情報通信・科学技術教育・文化・スポーツ・生活行財政司法・安全・環境社会保障・衛生国際その他 組織から探す 内閣官房人事院内閣府公正取引委員会警察庁消費者庁こども家庭庁個人情報保護委員会総務省公害等調整委員会消防庁法務省外務省財務省国税庁文部科学省文化庁スポーツ庁厚生労働省中央労働委員会農林水産省林野庁水産庁経済産業省資源エネルギー庁特許庁中小企業庁国土交通省観光庁海上保安庁環境省防衛省 主要な統計から探す ５０音から探す あ い う え お か き く け こ さ し す せ そ た ち つ て と な に ぬ ね の は ひ ふ へ ほ ま み む め も や ゆ よ ら り る れ ろ わ すべて見る 分野から探す 国土・気象人口・

今日は初心者向け記事です。 はじめに ある範囲の年齢の小学生32人を無作為に選び、算数のテストを受けてもらい、さらにその身長を測定しました。 身長に対する算数の点数のグラフは次のようになりました。 なんと、身長の高い子供の方が、算数の点数が高いという結果になりました！ 身長が算数の能力に関係しているなんて、すごい発見です！ しかしながら、結論から言うと、この結果は間違っています。 なぜなら、抽出したのは「ある範囲の年齢の小学生」であり、年齢の高い子も低い子も含まれているからです。 年齢が高いほど算数能力は高くなり、年齢が高いほど身長も高くなることは容易に推測できます。 この関係を図で表すと次のようになります。 つまり、年齢と算数能力に相関があり、年齢と身長にも相関があるため、身長と算数能力にも見かけ上の相関が見えているのです。 このような相関を擬似相関と言います。 統計解析では、このような

どもっす。林岳彦です。ファミコンソフトの中で一番好きなのは『ソロモンの鍵』です*1。 さて。 今回は、因果関係と相関関係について書いていきたいと思います。「因果関係と相関関係は違う」というのはみなさまご存知かと思われますが、そこをまともに論じていくとけっこう入り組んだ議論となります。 「そもそも因果とは」とか「因果は不可知なのか」のような点について論じるとヒュームから分析哲学（様相論理）へと語る流れ（ここのスライド前半参照）になりますし、統計学的に因果をフォーマルに扱おうとするとRubinの潜在反応モデルやPearlのdo演算子やバックドア基準（ここのスライド後半参照）の説明が必要になってきます。 その辺りのガッツリした説明も徐々に書いていきたいとは考えておりますが（予告）、まあ、その辺りをいちどきに説明しようというのは正直なかなか大変です。 なので今回は、あまり細かくて遭難しそうな話には

こんにちは！今年の春からWeb系企業でHTML/CSSデザイナーとして働きだしたキラキラ女子（を目指してる）のあんちべ（23）です！よろしくお願いします！私は普段自社のWebサービスのCSSなどを書いている*1のですが、最近データマイニングに興味を持ち始め、データを分析して、自社サービスの売り上げ改善に貢献したいなーと思うようになりました！でも。。。私は文系出身で統計学とか全然わからない*2し、プログラミングも得意じゃない*3し、高価な統計解析ソフトを買うのも辛いです。。。無い無い尽くしですね＞＜；！そんな私に救いの手が！インストール作業不要で、便利な統計処理機能が色々あって、しかも無料という素晴らしいソフト*4を発見しました！その名も"Incanter"です！なんでも、 Lispっていう古くから使われてきた実績のあるプログラミング言語で動いてて、Lispの文法でどんな処理をすればよいかを

統計データを探す すべて 分野から探す国土・気象人口・世帯労働・賃金農林水産業鉱工業商業・サービス業企業・家計・経済住宅・土地・建設エネルギー・水運輸・観光情報通信・科学技術教育・文化・スポーツ・生活行財政司法・安全・環境社会保障・衛生国際その他 組織から探す 内閣官房人事院内閣府公正取引委員会警察庁消費者庁こども家庭庁総務省公害等調整委員会消防庁法務省外務省財務省国税庁文部科学省文化庁スポーツ庁厚生労働省中央労働委員会農林水産省林野庁水産庁経済産業省資源エネルギー庁特許庁中小企業庁国土交通省観光庁海上保安庁環境省防衛省 主要な統計から探す ５０音から探す あ い う え お か き く け こ さ し す せ そ た ち つ て と な に ぬ ね の は ひ ふ へ ほ ま み む め も や ゆ よ ら り る れ ろ わ すべて見る 分野から探す 国土・気象人口・世帯労働・賃金農林

2024年下半期のフィルム写真たち ふと気がつくと2024年も残り僅か。 そしてふと振り返るとこのブログに掲載する写真がGRIIIで撮ったものばかりになっていたのだけど、決してフィルムに飽きたということではなく、フィルムはフィルムで淡々と撮り続けているし、モノクロもカラーネガもいつも通り自宅で…

概要 声優の共演関係から声優がいつブレイクしたかを年月の単位で推定した． 結果はここに． データ しょぼいカレンダーをクロールし， アニメタイトル 放映開始年月 出演声優一覧 を取得した． https://github.com/ybenjo/crawl_syobocal/blob/master/src/crawl.rb どうやったか 時間区切りごとに共演関係の重み付き無向グラフを構築する 本来なら声優 <-> アニメの二部グラフでやるべきだけど面倒なのである声優ペアが同じアニメに出演していたらそのあいだにエッジを張る そのグラフごとにPageRankを計算する このPageRankは共演関係上の声優の「重要度」と考える 声優ごとにPageRankの時系列データが得られるので外れ値検出を行う 出演作品数の時系列データを用いるより，他の共演者の情報を使う事ができる筈． PageRank おなじ

はじめに 統計解析の手法を学ぶのに、教科書を読むのは素晴らしい学習方法です。 しかし、教科書で理論的なことを学んだだけでは、統計手法を使いこなせるようにはなりません。 統計解析手法を身につけるには、実際のデータについて手法を適用し、パラメータを変えるなどの試行錯誤を行い、結果を考察するというような経験を積むことが大切です。 それでは実際のデータをどうやって手に入れましょうか？ 実験や調査をして実際のデータを得るのは大変でお金もかかります。 幸運なことに、世の中には適度なサイズの自由に使えるデータがたくさん存在します。 例えば、統計言語 R には、100以上ものデータセットがデフォルトで付属しています。 ただし、不幸なことに、それらのほとんどは英語で説明が書かれています。 英語は、いつかは乗り越えなければならない壁ですが、最初のうちはちょっと避けて通りたいところです。 というわけで、今日は、

フラクタルの語源は 「ラテン語の動詞frangereは『壊れる』、すなわち不規則な断片ができるという意味」 なのだそうです。 >> http://www.biwa.ne.jp/~k-tochi/siryou/siryofra.html それでは、実際にものを壊したときの破片は、どのような大きさに散らばるのでしょうか。 岩石に衝撃を与えて破壊するとその破片の大きさの分布はベキ分布になることが知られています。 ガラスのコップを硬い床に落として割った時にできる破片も同じです。 大きな破片はほんの数個で、中くらいの破片はかなりの数になり、小さな破片は無数にあります。 -- 経済物理学の発見(光文社新書)より. 試しにやってみようと思ったのですが、岩石を割るのはたいへんだし、ガラスのコップを割るのはもったいない。 簡単に割れるものを探してみたところ、戸棚の中にビスケットがありました。 小袋の中に入っ

分かっているようで意外と分かっていないのが回帰分析です。回帰分析の考え方をできるだけ図だけで説明した資料を作りましたので、適宜ご参照ください。 「(ほぼ)図(だけ)で説明する回帰分析」(PDF) 主な内容は、以下のとおりです。 説明変数と撹乱項の相関の理解 予測値の信頼区間をプロットすることの重要性の理解 「変数をコントロールする」ということで曖昧に理解されている内容の理解

googleさんやマイクロソフトさんは「次の10年で熱い職業は統計学」と言っているようです。またIBMは分析ができる人材を4,000人増やすと言っています（同記事）。しかし分析をするときの基礎的な学問は統計学ですが、いざ統計学を勉強しようとしてもどこから取りかかればいいか分からなかくて困るという話をよく聞きます。それに機械学習系の本は最近増えてきましたが、統計学自体が基礎から学べる本はまだあまり見かけないです。 そこで今回は、統計学を初めて勉強するときに知っておいた方が良い10ポイントを紹介したいと思います。 1. 同じ手法なのに違う呼び名が付いている 別の人が違う分野で提案した手法が、実は全く同じだったということがあります。良く聞くのは、数量化理論や分散分析についてです。 数量化理論 数量化I類 = ダミー変数による線形回帰 数量化II類 = ダミー変数による判別分析 数量化III類 =

この図は、原子力発電、火力（石油）発電、火力（石炭）発電、それぞれが生み出す平均電力生産量とそれに伴い発生する平均死亡率を比較した物です。 Nuclear（原子力）　Oil（石油）　Coal（石炭） death rate per watts produced （電力生産量当たりの死亡率） 参照元の記事はこちら。 Deaths per TWH by energy source http://nextbigfuture.com/2011/03/deaths-per-twh-by-energy-source.html この誇張されたインフォグラフィックスの元となっているデータはこちらです。 % of world energy production（世界のエネルギー生産比率[%]） Deaths per TW/h（「テラワット/時」当たりの死亡者数） Many Eyes : Deaths per

2011/01/23 "第９回 データマイニング+WEB 勉強会＠東京−2nd Week−方法論・ソーシャル祭り−"を開催しました。 第９回 データマイニング+WEB 勉強会＠東京　( TokyoWebmining 9)−2ndW−方法論・ソーシャル祭り−: ATND Google グループ ※会場参加者ID写真（id:bob3 さんに感謝) 1st Week内容まとめ： 第９回 データマイニング+WEB 勉強会＠東京 ( #TokyoWebmining #9) −1st Week− 大規模解析・機械学習・クオンツ 祭り− を開催しました - hamadakoichi blog 会場提供し運営を手伝って下さった ニフティ株式会社 のみなさん、どうもありがとうございました。素敵なトークを提供してくれた講師メンバーに感謝します。会場参加、USTREAM参加ともに多くの方々の参加を嬉しく思ってい

今日の日本社会において、携帯電話は無くてはならない存在となりつつありますが、5600万人以上という圧倒的なユーザーを抱えているNTTドコモが、「どのような層が、どのような時間に、どのような場所にいるのか」を把握することで「社会」が見えてくる「モバイル空間統計」についての発表を行いました。 「人の動きを把握できる」ということは、防災や産業などのあらゆる面で社会にとって非常に大きな意味を持ちますが、実際に全国の人口分布や、特定の場所における人口構成、移動人口などをイメージ化したデモンストレーションが実施され、「モバイル空間統計」がどのようなものであるのかが分かりやすく解説されています。 詳細は以下から。 本日都内で報道陣向けに発表会が行われました。 NTTドコモ先進技術研究所 所長 村瀬淳氏 NTTドコモ先進技術研究所 ネットワークシステム研究グループ 主幹研究員 岡島一郎氏 NTTドコモ 経