そもそも、『ＡＣの法則は感電にある』という仮説は、情報学類生の間での会話で特に理由も無く「感電したことがある」といった体験の話になったことに始まる。そこに集まっていたＡＣは、全員が「感電したことがある」と言った。また、その後来た、ＡＣっぽくない一般人の情報学類性は、「感電したことはない」と言った。 そこで、「ひょっとして、感電すると頭がおかしくなってＡＣになれるのではないか？」というひらめきが全員に浮かび、その後統計調査をしてみればよいという話になった。 普通の人はわざわざこのようなくだらない説を検証するために統計調査などするのは面倒であり馬鹿らしいのでやらないかも知れないが、私はもちろん『ＡＣ』であるので、実際にアンケート形式で統計調査を行った。 調査は、口頭または電子メールで行った。対象は、小学校〜高校時代の知人、大学生等、および大学の教授など。１日間しかかけていないので、３０人弱にし

皆さん、3値データ、使っていますか？ どうやら最近はLLMの文脈で3値データが注目を浴びているようです。 arxiv.org この論文では、重みに3値データを使うことで大幅な軽量化が可能、という触れ込みです。 ここ一か月でも動作する実装が公開されたり、続きの論文が発表されるなど、ホットな状況が続いています。 3値(ternary)データとは、3種類の値を取るデータのことです。 3種類の値の例としては、の他に、や、、 などもあります。 ✊↔0, ✌↔1, ✋↔2のように、あらかじめとの対応関係を決めておくことで、これらの値をで表現することができます。 以下、3値データはの形で表されているものとします。 用語・記法 2値(binary)データの大きさはbit(s)で表しますが、3値データの大きさを表すのにはtrit(s)が用いられます。 tritという名前はtrinary digitから来てい

みなさまは"The Causal Revolution" (因果革命)という言葉を聞いたことがあるでしょうか？ 私は今月(2021年6月)に初めて知りました。Google Trendsでもデータ不足によりトレンドが表示されません。 つまりまだ全然マイナーな概念で、聞いたことがないほうが自然かと思われますが、これは「来る」と確信したため本記事を投稿しました。この確信の根拠の箇所を記事中で太字で書いた他、最後にもまとめたため、本記事を読む価値がありそうかの判断には先にそちらを読んでもらってもいいかもしれません。しかしながら、因果革命ないし統計的因果推論は学ぶ価値のある分野です。本記事を読まなくても下記に挙げた書籍を未読の方はぜひ一読してみてください。Qiitaでも因果推論についての記事はいくつもあります。しかし、私が感動した点を明示化した記事は見当たらなかったため本記事を投稿しました。 この記

(Image by Pixabay) 最近になって、こんな素晴らしい資料が公開されていたことを知りました。 この資料自体は著者のMoe Uchiikeさんが東大での講義に用いられたものだとのことですが、その内容の汎用性の高さから「これは全ての機械学習や統計学を実務で用いる人々が必ず読むべきドキュメント」と言っても過言ではないと思われます。 正直言ってこの資料の完成度が高過ぎるのでこんなところで僕がああだこうだ論じるまでもないと思うので、内容の詳細については皆さんご自身でまずは上記リンクから精読していただければと思います。その上で、今回の記事では「機械学習や統計学を『社会実装』する」ということがどういうことなのかについて、この資料を下敷きとした上でさらに僕自身の経験や見聞を加えて考察したことを綴ってみます。 機械学習や統計学と、社会との「ギャップ」 機械学習や統計学を、社会に「馴染ませる」

去年の12月頃から数学の学び直しを始めた。 職業柄少し専門的な、特に機械学習の方面の書籍などに手を出し始めると数式からは逃れられなかったりする。とはいえ元々自分は高校時代は文系で数学1A2Bまでしか履修していない。そのせいか少し数学へ苦手意識があり「図でわかるOO」とか「数学無しでもわかるOO」のような直感的に理解出来る解説に逃げることが多かった。実務上はそれで問題ないにしてもこのまま厳密な理解から逃げているのも良くないなと感じたのでもう少し先の数学に取り掛かることにした。 巷には数学の学び直しについての記事が既にたくさんある。それに自分の場合は何かの受験に成功した！とか難関の資格を取得した！というような華々しい結末を迎えている状態ではない。そんな中で自分が何か書いて誰の役にたつかもわからないが、少なくとも自分と似たようなバックグランドを持つ人には意味のある内容になるかもしれないので、どの

「統計的に有意差がないため、2つのデータには差がない」──こんな結論の導き方は統計の誤用だとする声明が、科学者800人超の署名入りで英科学論文誌「Nature」に3月20日付で掲載された。調査した論文の約半数が「統計的有意性」を誤用しており、科学にとって深刻な損害をもたらしていると警鐘を鳴らす。 「統計的に有意差がない＝違いがない」は間違い 例えば、ある薬の効能を調べたいとする。統計学では一般的に「仮説検定」を行って薬を与えたグループとそうでないグループを比較し、薬効の指標となる何らかのパラメータに統計的有意差があるかどうかを見る。仮説検定は、2つの事象の差異が偶然生じたものかどうかを統計的に結論付けるものだ。 もし、統計的有意差がある（薬を与えた群のパラメータの方が有意に大きい）なら「薬には効能がある」という結論を導けるが、有意差がなかった場合はどうだろうか。 「統計的有意差がある＝薬効

本連載ではプログラミングの基本は理解しているが、より実践的なデータ解析に取り組みたい方を対象に、スクリプト言語によるデータ解析の実践を解説します。スクリプト言語の中でも特にデータ解析環境が整っているPythonをとりあげ、対話型解析ツールやライブラリによるデータ解析の実行・可視化の方法をを解説します。第4回となる本稿ではPythonによる機械学習を解説します。まず機械学習の概観について確認し、Jupyter Notebookとライブラリscikit-learn使った機械学習の手順を解説します。 対象読者 Pythonの基本的な文法を理解しておりデータ解析のスキルアップに取り組みたい方 サンプルの動作確認環境 MacOS 10.13 Anaconda 5.1 Python 3.6 Jupyter Notebook 5.4 機械学習の概要 本稿では、実際にPythonでの機械学習に入る前に、機

講演のご依頼をお受けします。 小・中・高の同級生が経営する株式会社Tスポットの社員さんに向けて、『大人が数学を学び直すには』というテーマで講演をさせていただきました。 講演で使ったスライドの一部をご紹介します。 料理に喩えるなら、「数学者になる」というのは一流店のコックになるようなものです。このレベルに達するには才能が必要でしょう。対して、「大学入試を突破する」や「仕事や生活に（数学を）活かす」というのは、冷蔵庫の残り物でパッと美味しいものを作ってしまうというレベルです。これは、最初から簡単にできることではないかもしれませんが、素材についての確かな知識を持ち、調理法についてその意味が分かりさえすれば、誰にでも到達できるレベルです。 《参考》 日本数学検定協会の会長やNHK高校講座「数学基礎」の講師も務められた秋山仁先生の著作『数学に恋したくなる話 』の中から「理系大学進学に必要な４つの能力

SASを選ぶ理由 SASが世界で最も信頼されているアナリティクス・プラットフォームであり、またアナリスト、顧客、業界エキスパートがSASを支持・愛用しています。 SASの詳細情報

◆主な内容◆ ・読書と読解力の関係 －読書と読解力、読解力と年収等、が相関関係にある－ ・「読解力」とは何か －読解力を構成する四つの能力－ ・読書と読解力 －読書の熱中度と読解力の相関関係 ・親の社会経済的地位ど読解力の相関関係 ・親の社会経済的地位と、読書熱中度、どちらが強い影響があるか ・日本人生徒の読書量 ・何故、読書と読解力が相関するか？ ・幼児には「読み聞かせ」が威力を発揮する！ ・子供の読解力不足が見逃される理由 －「日常的な言語能力」と「学習に必要な言語能力」習得のズレ－ ◆巻末ふろく◆ ・OECD研究　 【恵まれた／恵まれない子供ではインターネットの使い方が違う】 Podoro @podoron 【読書と読解力の関係】 －読書と読解力、読解力と年収等、が相関関係にある－ 「読書は何の役に立つのか」はしばしば議論の的になりますが、その根拠・主張は主観的なものが多いですね。読

語彙力診断 2016年8月18日，とある診断がバズりました． ハッシュタグ検索 #私の語彙力は この診断は50問の類義語/対義語に関する4択問題に答えると点数化され，分布のどの辺にいるのかを教えてくれます． しかし，Twitterで該当ハッシュタグ#私の語彙力はを検索…するまでもなくこの点数が"上位0.43%"でないことくらい感覚的に分かります． なので点数分布を取ってみました． そもそもこんな診断は信憑性のかけらもないよとか言わない． 検索・分布の描画 Twitter APIを使ったプログラムを組むのはほぼ初めてなので，以下 Python で Twitter から情報収集 (Twitter API 編) をベースにして組みました． 変更点は点数の取得とヒストグラムの描画と検索件数の変更です． if point <= 36600としてるのはネタでめちゃめちゃデカい点数に改変してツイートする

人は無意識に痛みを避けて、快楽を求めます。だから、放っておくとどんどん、だらけて怠け者になっていく、、、これは仕方のないことなのです。 でも、そのままじゃちょっとマズい、、、ですよね。 私も以前は、おもいきり、「ぐうたら属性」でした。食べたら寝る、めんどくさいから明日でいいや、、と言い続けて結局やらない、忘れてしまうetc、、、。 いや～、、、ホントに酷かったと思います どもまでも、怠けていくので、さすがにヤバい！！と思った時期があり、ある時を境に意識をカチッと「やる気モード」に切り替えました そんな簡単にやる気になれるなら、だれも苦労しないよ！なんて声が聞こえてきそうですがそう言わずに、まずは試してみてください。 そこで今日は、ぐうたらなあなたを、今すぐ「やる気人間」にする方法についてお伝えします。 朝と夜を大切にする私たちが夜も自由に活動できるようになったのは、ここ100年くらいのこと

googleさんやマイクロソフトさんは「次の10年で熱い職業は統計学」と言っているようです。またIBMは分析ができる人材を4,000人増やすと言っています（同記事）。しかし分析をするときの基礎的な学問は統計学ですが、いざ統計学を勉強しようとしてもどこから取りかかればいいか分からなかくて困るという話をよく聞きます。それに機械学習系の本は最近増えてきましたが、統計学自体が基礎から学べる本はまだあまり見かけないです。 そこで今回は、統計学を初めて勉強するときに知っておいた方が良い10ポイントを紹介したいと思います。 1. 同じ手法なのに違う呼び名が付いている 別の人が違う分野で提案した手法が、実は全く同じだったということがあります。良く聞くのは、数量化理論や分散分析についてです。 数量化理論 数量化I類 = ダミー変数による線形回帰 数量化II類 = ダミー変数による判別分析 数量化III類 =

2006年のデータマイニング学会、IEEE ICDMで選ばれた「データマイニングで使われるトップ10アルゴリズム」に沿って機械学習の手法を紹介します（この論文は@doryokujin君のポストで知りました、ありがとうございます！）。 必ずしも論文の内容には沿っておらず個人的な私見も入っていますので、詳細は原論文をご確認下さい。また、データマイニングの全体観をサーベイしたスライド資料がありますので、こちらも併せてご覧下さい。 データマイニングの基礎 View more presentations from Issei Kurahashi 1. C4.5 C4.5はCLSやID3といったアルゴリズムを改良してできたもので、決定木を使って分類器を作ります。決定木といえばCARTが良く使われますが、CARTとの違いは以下のとおりです。 CARTは2分岐しかできないがC4.5は3分岐以上もできる C