しばらく前に、こんなことを嘯いたら思いの外反応が伸びたのでした。 「データも見られなければ統計的学習モデルのアルゴリズムも実装コードも見られない」状況で、そのデータ分析のどこにどんな不具合があるかを「分析結果だけを見る」ことで言い当てるのってデータサイエンティスト的には最高に面白いゲームだと思うんだけど、同意してくれる人いますかね— TJO (@TJO_datasci) 2025年2月7日 日本社会にデータサイエンスが本格的に普及するようになって10年強が経ち、空前のDXブームで猫も杓子もデータ活用を喧伝するようになって5年ほどが経ちますが、それでもなお「専門家から見れば中身を調べるまでもなく深刻な不具合のあるデータ分析」が行われていて、挙げ句の果てにその結果や成果物が大手を振って歩いているというケースはチラホラ散見されます。 そこで今回の記事では、ケーススタディ的にそういった「データも実

本投稿は、財務省主計局が公表した資料において、統計的な不備が存在するにもかかわらず結論を導いていると考えられる点を、事実ベースで指摘・説明するものです。 あくまでも事実に基づいた指摘を行っているものであり、陰謀論を助長する趣旨ではありません。根拠のない憶測や陰謀論には強く反対いたします。 1. はじめに昨今、103万円の壁引き上げで財務省に対して 「積極財政をすべきだ」「緊縮財政をすべきだ」などの議論が盛んに行われています。 今回の問題の本質はそこではありません。 財務省主計局がIMFの一次データを用いて相関関係を分析する際に、 適切な統計処理を行わないまま結論を導いています。 積極財政・緊縮財政を語る以前の不適切な統計処理の問題です。 では、なぜその不適切な統計処理が問題になるのでしょうか。 それは、誤った処理によって可視化されたデータやグラフを使って議論しても、 妥当な結論を得ることが

筒井.xls@エクセル関数擬人化本著者 @Tsutsui0524 PTAでくじ引きの順番を決めるくじ引きという無駄な行為に付き合わされましたが、くじを引く順番に文句を言う人(後の人が不利とか言う)に確率を教えるより無駄な抽選をする方が遥かに早いということで理解しました

CMで「尿一滴で、精度86％のがん検査」を謳っている、HIROTSUバイオサイエンス（以下、H社）の線虫がん検査を巡って、関係者から検査方法に疑義の声が上がっていることが「週刊文春」の取材でわかった。 H社は線虫でがんが判定できるとする検査キット「N‐NOSE」を2020年10月に発売。『ガイアの夜明け』（テレ東系）などのテレビ番組で大きく報じられ、この10月からは俳優の東山紀之が出演するテレビCMも放送されている。 H社の広津崇亮代表によれば、線虫はがん患者の尿の匂いを好み、そちらへ向かう。一方、健常者の尿の匂いは嫌うため、線虫の動く方向で、がんの判定が出来るのだという。その線虫の習性を利用したのが「N‐NOSE」。これを使えば、胃がん、大腸がんなどの五大がんに加え、肝がん、前立腺がんなど、全15種類のがんが判定できるという。

こんにちは、Wellnessドクターチームです。 先日、敏腕経営者である光本さんのTweetが話題になっていました。 近年、「尿やわずかな量の血液によって癌を早期発見できる」と謳う検査（いわゆるリキッドバイオプシー検査※）が多数出現し、多くの人々の期待を膨らませています。しかしこれらの検査を健康な人が予防のために受けるというのは、国の医療を破綻させる可能性があるとともに、無駄な不安や安心をもたらす可能性もあり、受けた人全体で見た場合にデメリットがメリットを上回ってしまう可能性があります。 （※）リキッドバイオプシー(Liquid biopsy)とは、主に癌の領域で内視鏡等を用いて腫瘍組織を直接採取する従来の生検(biopsy）と異なり、血液や尿などの体液サンプルを使って診断や治療効果の予測を行おうという技術。最初に断っておきますが、この記事はこれらの新しい技術を否定するためのものではありま

この講座は『受講登録する（無料）』ボタンを押すと受講開始となる『開始日可変型講座』です。 『開始日可変型講座』とは、受講者個々の受講開始日に応じて進行する講座です。 ご自身のスケジュールは、以下の講座スケジュール（PDF）を参考にご確認ください。 講座内容 統計に関する知識は、実験、試験、調査などの結果を用いた実証研究を行う上でなくてはならないものである。生活に関わるさまざまな効果やリスクがデータとともに語られ、生活者としても統計に対するリテラシーが求められるようになった。企業活動では、情報技術の発展によって、日々膨大なデータが生成されており、その活用が求められるようになった。本講座は、研究や、生活、社会・経済活動に不可欠な統計を、集計・分析し、理解する力を養うことを目的とした「統計入門」「続統計入門」を圧縮した内容になっている。これから統計を学ぼうとする初学者や、学び直しを目指す学生を主

サインインした状態で「いいね」を押すと、マイページの 「いいね履歴」に一覧として保存されていくので、 再度読みたくなった時や、あとでじっくり読みたいときに便利です。

データサイエンティスト協会の偉い人なんだったら、これを見て最初にコメントすべきは「交絡因子はないのだろうか？」であり、いきなり財務省の一見奇妙な結論を鵜呑みにするのはどうなのかなと。特に「年齢」は曲者で、Pearl因果推論本だと本… https://t.co/78B83pRoRf

しましま先生(@shima__shima)こと神嶌敏弘先生から、訳書『マスターアルゴリズム』をご恵贈いただきました。 マスターアルゴリズム 世界を再構築する「究極の機械学習」 作者:ペドロ・ドミンゴス講談社Amazon 本書はビル・ゲイツが「AIを知るための本」と絶賛したという"The Master Algorithm"の邦訳版で、実際に「難しい理論や数式は書かれていないがこの一冊を読むだけで現代の機械学習（人工知能）の世界の全容を一望できる」優れた本だと個人的には感じました。また縦書き本ゆえいわば「読み物」的な立ち位置の書籍であり、研究者や技術者のみならずビジネスパーソンさらには一般の読書家にとっても読みやすく、尚且つ得るものの大きい一冊だと思います。 ということで、以下簡単にレビューしていきたいと思います。なお実は僕自身もしましま先生から発刊前の段階で翻訳内容の閲読を依頼されて一通り目

先日、Quora日本語版でこんなやり取りがありました。 基本的にはここで述べた通りの話なのですが、折角なのでブログの方でも記事としてちょっとまとめておこうと思います。題して「何故データサイエンティストになりたかったら、きちんと体系立てて学ばなければならないのか」というお話です。 問題意識としては毎回引き合いに出しているこちらの過去記事で論じられているような「ワナビーデータサイエンティスト」たちをどう導くべきかという議論が以前から各所であり、それらを念頭に置いています。なお毎度のことで恐縮ですが、僕も基本的には独学一本の素人ですので以下の記述に誤りや説明不足の点などあればご指摘くださると幸いです。 一般的なソフトウェア開発と、統計分析や機械学習との違い 統計分析や機械学習を仕事にするなら、その「振る舞い」を体系立てて学ぶ必要がある きちんと体系立てて学ばなかった結果として陥りがちな罠 余談

サインインした状態で「いいね」を押すと、マイページの 「いいね履歴」に一覧として保存されていくので、 再度読みたくなった時や、あとでじっくり読みたいときに便利です。

管理職に登用する人材について、入社年数や家庭状況、意欲などの条件がまったく同じでも、上司は女性名より男性名の候補を登用しようとすることがパーソル総合研究所の調査でわかった。調査は2019年、従業員100人以上の企業でマネジメント職の登用に関わる係長級以上の男女1000人を対象にインターネットで実施した。2児を育てながら常に成績上位を維持し、会議でも積極的に発言する32歳の「小林愛さん」を「とて

東京大学・株式会社Nospareの菅澤です． 今回はベイズ統計学を勉強する上で個人的にオススメな日本語の教科書10冊を簡単に紹介したいと思います． 一般的な方法論・基礎理論 中妻照雄『入門ベイズ統計学』 簡単な例と実践的な例を使ってベイズ推論の考え方が導入された後，マルコフ連鎖モンテカルロ法(MCMC)の基礎的な事項がまとめられています．基本的な数理統計学が理解できていれば十分読める内容になっている印象です．この本の続編である中妻照雄『実践ベイズ統計学』では，ファクターモデルやそのポートフォリオ選択への応用，ベイズ的線形回帰モデル，モデル平均化法などのより発展した内容について丁寧に解説されています． 伊庭幸人・種村正美・大森裕浩・和合肇・佐藤整尚・高橋明彦『計算統計II』 かなりボリュームのある内容の本です．基本的な話題として，MCMCの基礎や標準的な統計モデルにおけるベイズ推論に関して数

AIやデータサイエンスといったキーワードが、人材や学び直しといった文脈で使われることが増えてきました。この記事では、社会人がデータ活用について学ぶことがどう繋がるのか、時代背景と一緒にみていきたいと思います。 AI、データサイエンスが力を発揮する時代に まず背景として、コンピュータや通信環境の発達というものがあります。身の回りを見ても、スマホはここ１０年くらいで当たり前のものになりました。通信環境も、ここ１０数年で圧倒的に良くなってきています。それにより、蓄積されるデータの量も爆発的に増えています。 扱えるデータの量が増え、コンピュータの性能も上がると、これまで試すことができなかったビッグデータを用いたアルゴリズムを試すことができるようになりました。いわゆるAI・機械学習のブームです。 そうすると色々な仕事で、これまで勘や経験で行ってきた業務を、データに基づいて推論することで、もっとよい結

感染症対策と経済への影響の観点から、緊急事態宣言はいつ解除するべきなのか。専門家からは、拙速な解除の危うさを示す分析が示されている。　東京大学大学院経済学研究科の仲田泰祐准教授（経済学）と藤井大輔特…

人生のコントロール不能な部分を、もうちょっとコントロール可能にするには、どうすればよいか…というお話。21世紀のサイバー風水学について。 運の良し悪しは、一見するとコントロール不能な現象に見えます。ところが実際は、ある程度までコントロールが可能だったりします。 なぜなら多くの場合、確率的に不利なポジショニングが、「運の悪さ」として観測・説明されているにすぎないからです。因果の順序が逆なのです。「運が悪いから失敗するんじゃなくて、まさかの失敗をしたから運が悪いと呼ばれる」 ですので、「運」と呼ばれるものは、かなりの部分がコントロール可能です。サイバー風水学は、伝統的な風水学のモデルを使いながら、神秘性を排除し、合理と統計により再構築した概念です。 おなじに見える2つのギャンブル以下の2種類のギャンブルの違いを、あなたは瞬間的にイメージできるでしょうか？ どちらも、コインを投げて表が出たらお金