先日のことですが、こんなことを放言したら思いの外伸びてしまいました。 データ可視化は一時期物凄く流行った割に今はパッとしない印象があるんだけど、それは結局のところデータ可視化が「見る人に『考えさせる』仕組み」だからだと思う。現実の世の中では、大半の人々は自分の頭で考えたくなんかなくて、確実に当たる託宣が欲しいだけ。機械学習やAIが流行るのもそれが理由— TJO (@TJO_datasci) 2024年8月28日 これはデータサイエンス実務に長年関わる身としてはごくごく当たり前の事情を述べたに過ぎなかったつもりだったのですが、意外性をもって受け止めた人も多ければ、一方で「あるある」として受け止めた人も多かったようです。 基本的に、社会においてある技術が流行って定着するかどうかは「ユーザーから見て好ましいかどうか・便利であるかどうか」に依存すると思われます。その意味でいうと、データ分析技術にと

Diamond Premiumセレクション 過去の有料会員向け記事の中から、編集部がセレクトしたおすすめ記事を期間限定で無料公開します。 ※「無料会員」の登録をすればご覧いただけます ※無料公開してから1カ月が経過した記事は、無料公開を終了します バックナンバー一覧 特集『夏だ！スキルだ！3日で絶対！習得シリーズ 2020』（全30回）における「統計学」（全6回）のその4では、【統計学その2〜3】のストーリーで学んだデータ集計の基本を、実際にExcelを使ってやってみよう。西内啓氏の監修による「準備」「クロス集計」「データのひも付け」の各編をお送りする。 ※2020年8月11日に公開した有料会員向け記事を、1カ月の期間限定で無料公開します。全ての内容は初出時のまま >>【統計学その2】『データ分析で絶対やってはダメな「無価値」なこととは？【ストーリーで学ぶ統計学】』から読む >>【統計学そ

はじめに こんにちは！ 僕は研究を行いながら、長期インターンでデータサイエンティストとして働く大学院生です！ 学部時代から長期インターンを始め、現在まで４社経験してきました。 この経験から、プログラミングの学習を始めたばかりの人や、長期インターンを行う勇気が出ない人に、学習サポートやデータ分析の実績作り支援、さらにはKaggle人材マッチングサービスなどを行わせてもらっています！ 僕自身、プログラミングの習得や長期インターン探しに苦労したので、その経験をお伝えすることで、より多くの人が挫折せずデータサイエンティストになるまで成長して欲しいです！ 以下でサポートを行なっているのでご興味ある方はご連絡ください！学生・社会人問わず専攻も問わずサポートいたします！ X(Twitter) これまで機械学習アルゴリズムやデータサイエンティストに内定するまでに行ったことなどQiitaで記事にしているので

本連載では、近年トレンドの標的型ランサムウェア攻撃への対応について、インシデント対応の現場で思うことや組織がより良く準備するための推奨策などを筆者の知見や体験談を踏まえて解説しています。 前編ではインシデント対応現場で重要な考え方についてお伝えしました。今回は“技術的対応”に絞って解説していきます。筆者は技術的な調査を専門とするコンサルタントであるため、法務や公報といった観点からの見解を示せませんのでご承知おきください。 インシデント対応現場に求められる“3つの技術” ここからは「調査」「復旧」「準備」のテーマに絞って技術的対応を解説します。 1．調査 前編ではインシデント発生時には「何が起こったかを調査することが重要」と強くお伝えしてきましたが、これは具体的にはフォレンジック調査と呼ばれます。フォレンジックの古くからある手法としてはエンドポイントからHDDを取り出して全体イメージコピーを

先日開催された厚生科学審議会において、日本における抗体陽性率の最新の調査結果が報告されました。 この結果からは、日本に住む約4割の人がすでに新型コロナに感染しているということが分かりました。 今回の調査結果からは他にどのようなことが分かるでしょうか？ 「抗体調査」とは？S抗体とN抗体の違いは？S抗体とN抗体（DOI:https://doi.org/10.1016/j.tibtech.2022.07.012より筆者作図） 抗体とは、免疫システムによって作られるタンパク質のことであり、新型コロナウイルスに感染したりワクチン接種をすると、種々の抗体が作られます。 測定されることの多い新型コロナの抗体としてはS抗体とN抗体の2種類があり、S抗体はワクチンの標的である「スパイク蛋白（S蛋白）」の抗体でありワクチン接種をした人と感染した人のいずれも陽性になるのに対し、N抗体はウイルス遺伝子を包み込んで

(Image by wal_172619 from Pixabay) 去年で恒例の推薦書籍リストの更新は一旦終了したつもりだったんですが、記事を公開して以降に「これは新たにリスト入りさせないわけにはいかない！」という書籍が幾つも現れる事態になりましたので、前言撤回して今年も推薦書籍リストを公開しようと思います。 初級向け6冊 実務総論 データサイエンス総論 R・Pythonによるデータ分析プログラミング 統計学 機械学習 中級向け8冊 統計学 機械学習 テーマ別15冊 回帰モデル PRML 機械学習の実践 Deep Learning / NN 統計的因果推論 ベイズ統計学 時系列分析 グラフ・ネットワーク分析 データ基盤 コメントや補足説明など 完全なる余談 初級向け6冊 今回は新たに加わったテキストがあります。 実務総論 AI・データ分析プロジェクトのすべて[ビジネス力×技術力＝価値創出

2022-08-27 データ抽出に特化したAirbyteによるEL(T) 環境構築の実践 データ基盤 Airbyte ELT こんにちは。今回は、データ基盤の構築の一部を実際に体験してみたいと思います。 データ基盤を作成するにあたり、まずは、社内に眠る様々なデータを集めてくる必要があります。前回の記事では、その機能を「収集」と紹介していました。 データ基盤とは何か… データ基盤 データ分析基盤 実践 2022-08-18 Metaflowでモデルの学習をpipeline化するまで MLOps Metaflow Pipeline 皆さんは「MLOps」について取り組んでいらっしゃるでしょうか。私は2018年頃からデータクレンジングや機械学習モデルの構築や運用をしてきましたが、当時の日本で私の耳にはMLOpsという言葉が入ってくることはありませんでした。 ただMLOpsの元となった「Dev…

先日の西浦先生のニコ生の発表を聞いていない人はぜひ聞いてください。 モデルとデータを以下のリポジトリでオープンにしていただいたので、モデルについて僕が分かる範囲内で少し解説を加えたいと思います。 github.com 実効再生産数を推定するコードが2種類ありまして、最尤推定（Maximum Likelihood Estimation, MLE）を使ったMLE版（Sungmok Jungさん作成）と 、ベイズ推定版（Andrei Akhmetzhanovさん作成）があります。どちらもコンセプトはほぼ同じで、実装が若干異なります。この記事では、ベイズ推定版（以降、元コードと呼びます）の流れを簡単に説明し、その後でその拡張を試みます。 ベイズ推定版の流れ 大きく分けて「データの集計」「back projection」「実効再生産数の推定」の3つの部分からなります。 データの集計 まずは日付ごとの

概要 WEB系のサービスで色々な試作を実施した後に効果を検証するのは非常に重要だと思いますが、 そのやり方として基本的な統計学が十分に使えると思っています。 今回は基本的な統計学からビジネスで使える試作の効果検証、データ分析を目的にPython+JupyterLab(Docker)を使った統計的データ分析のやり方をまとめました。 また今回使ったnotebookは以下にもありますのでご参考ください。 https://github.com/hikarut/Data-Science/tree/master/notebooks/statisticsSample 環境 以下を参考にDockerでJupyterLabが使える状態を前提とします。 Dockerで起動したJupyterLabでvimキーバインドを使う

数学、統計学を学ぶ上で必須となる「集合・数列」の6つの数学記号をPythonコードと図で理解する：「AI」エンジニアになるための「基礎数学」再入門（6）（1/2 ページ） AIに欠かせない数学を、プログラミング言語Pythonを使って高校生の学習範囲から学び直す連載。今回は数学、統計学を学ぶ上で必須となる「集合・数列」の数学記号についてPythonコードと図を交えて解説します。

その判定の基準となる有意水準（帰無仮説を棄却する確率）は、棄却域の設定によって決まる。通常は、5%か1%を使う。基準としては1%のほうがより厳しいので、5%では有意であっても、1%では有意では無い、ということも起こりうる。 単に両者が異なるか同じかを論じる場合には両側検定を、大小を論じる場合には片側検定を行う。 たとえば、有意水準5%の時に、両側検定では分布の両端でそれぞれ2.5%ずつ棄却域を設定し、片側検定では分布の上端・下端どちらかで5%の棄却域を設定する。 分布表には、累積分布関数の値が示されており、判定にはこの値を用いる。累積密度関数は、確率密度関数を積分したものである。 (3)  判定 判定は2通りで、仮にα = 5% の時には、 i.   有意水準5%で、帰無仮説H0を棄却し、対立仮説H1を採択した場合には、その信頼度は95%である。「5%有意である」とする。 標本の統計量が、

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

目次からリンクで飛べる各トピックはツリー形式になっているのだ。 あまりにツイート量が膨大になってしまったので、123回目以後は各ツリーの最初のツイートへリンクだけまとめておくのだ。 お尻さんは各国の歴史や制度に詳しいわけではないし統計手法も誤って理解していることがあるから(それなら黙っておけという話だけど)、間違いがあったらどんどん指摘して欲しいのだ！

統計学の時間 統計学の基礎から応用までを丁寧に解説しています。「Step1. 基礎編」は、大学で学ぶ統計学の基礎レベルである統計検定®2級の範囲をほぼ全てカバーする内容となっています。最後まで読み進めることで、統計検定®2級に合格できる力がつくことを目標にしています。 学習ページは、数式ばかりではなく具体例を多数掲載し、はじめて統計学を学ぶ方にもイメージしやすい内容になっています。学習ページで勉強した後は、練習問題で腕試しができます。練習問題のすぐ下に解説を掲載していますので、理解度をすぐに確認することができます。 一通り勉強して知識が身に着いたら、実際に統計検定®を受験するのがオススメです。 統計WEBでは、統計検定®の受験者を応援しています！ ※統計WEBを使って統計検定®に合格された方の『合格者の声』をブログに掲載しています。こちらからご覧ください。 Step0. 初級編 1. デー