Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? わ、去年2023-08-26にこの記事書いたんだね。まる1年だね。2024年版機械学習・データ分析の必須10冊+ガチ90冊+Next5冊=105冊書きましたよ。 【データ分析の必読10冊+差をつける10冊＋100冊超】データサイエンス、データ分析、機械学習関連の本がご好評いただいてましたが古くなりごちゃごちゃしているので新たに作り直しました 本記事のめあて IT系の技術者の方がデータ分析関連の仕事をするために役立つ本を紹介する（私が学び始めた時にあれば欣喜雀躍したであろう）記事として書いております。 本記事作者の青木はバイオインフォマテ

(Image by Wokandapix from Pixabay) 個人的な観測範囲での話ですが、データサイエンティストという職業は「21世紀で最もセクシーな職業」として刹那的な注目を集めた第一次ブーム、人工知能ブームに煽られて火がついた第二次ブーム、そして「未経験から3ヶ月で人生逆転」ムーブメントと折からのDXブームに煽られる形で沸き起こった第三次ブームを経て、何だかんだで社会に定着してきた感があります。 で、このブログを始めた頃からの連綿と続くテーマになっていますが、いつの時代も話題になるのが「データサイエンティスト（になるに）は何を勉強すべきか」ということ。7年前から恒例にしてきた「スキル要件」記事では、基本的には「どれも必要な知識（学識）」であるという前提で分野・領域・項目を挙げてきました。少なくとも、最初の3回ぐらいはそういう認識でスキル要件記事を書いていた気がします。 ところ

一般社団法人データサイエンティスト協会（所在地：東京都港区、代表理事：草野 隆史、以下データサイエンティスト協会）は、構造化データの加工について実践的に学ぶことができる無料の学習環境「データサイエンス100本ノック（構造化データ加工編）」をGitHubに公開しました。 「データサイエンス100本ノック（構造化データ加工編）」は、データサイエンス初学者を対象に、データの加工・集計、統計学や機械学習を駆使したモデリングの前処理等を学べるよう、データと実行環境構築スクリプト、演習問題をワンセットにしています。 近年、データ活用の重要性についての認知が広がる中で、書籍やWebサイトなど、データ分析のスキル向上に役立つ情報源も多く提供されています。一方で、実践するための「データ」や「プログラミング実行環境」を持ち合わせていないことも多く、「実践力」を身につける機会が限られていました。特に、「構造化デ

This domain may be for sale!

“…make both calculations and graphs. Both sorts of output should be studied; each will contribute to understanding.” F.J. Anscombe, 1973 Anscombe’s Quartet It can be difficult to demonstrate the importance of data visualization. Some people are of the impression that charts are simply “pretty pictures,” while all important information can be divined through statistical analysis. An effective (and

こんにちは。久々の投稿です。 僕のTwitterをフォローしてくれている方はご存知かと思いますが、4月から機械学習エンジニア/データサイエンティスト(見習い)として働く事が決まりました。 今日六本木の某社から正式に内定を頂きましたが、間違いなくTwitterのおかげでありTwitterこそ就活の全てであると確信した次第でございます— マスタケ (@MATHETAKE) 2017年2月23日 良い区切りですので今回はタイトルの通り、ただの純粋数学の学生だった僕がデータサイエンスの勉強を何故/どのようにしてきたのか、についての思い出せる範囲で書こうと思います。 Disclaimer: この記事は基本的に、"What I did" に関する記事であって決して "What you should do" についての記事ではありません。そんな勉強方法おかしいとか、こうすべきだ、みたいなマサカリは一切受

世界中で話題になっているパナマ文書。各国で政権を揺るがすような事態にもなっていますが、純粋にデータとしてみた場合、これは計算機やデータ解析に関わる人々にも面白いものだと思います。データの中身や背景などについてはさんざん報道されていますのでここでは触れません。一方、現場でどのような作業が行われているのかはあまり報道されていません。現実的な問題として、人力ではどうしようもない量のリークデータを手に入れた場合、調査報道機関はどんなことを行っているのでしょうか？私も以前から疑問に思っていたのですが、先日あるデータベース企業と、データ分析アプリケーションを作成する会社のブログにて、その実際の一端を窺うことができる投稿がありました: Panama Papers: How Linkurious enables ICIJ to investigate the massive Mossack Fonseca

ちょっとアレなので非公開になりました。 結論 cross validation くらいしよう。

こんばんは。気がついたら、以前書かせて頂いた記事が、1000ブックマーク以上達成したようでびっくりです( ﾟдﾟ) lacucaracha.hatenablog.com 駄文雑文にも関わらず、お褒めのコメントも沢山いただき、恐悦至極です。コメント付きのブクマにつきましては、『見たよー(∩´∀｀)∩』という目印も兼ねて、星をつけていきますのでよろしくです。 で、ブックマークを整理している中で何個か気になるコメントが有りました。 id:nicht-sein id:stattly101 さんへ。なるほど、と思った人間です。国立理系大卒だけど、株や会計に関する教育なんて小中高大ではなかったでござる。社会人なんだから会計なんて常識だろ、とか言われたらごめんするしかないけど…… そうなんですよね。経営や会計の基本的な知識って、誰もが関係してくる話の割に、商業系の学校に行かない限り触れる機会が無いのが実

PLOS Biology provides an Open Access platform to showcase your best research and commentary across all areas of biological science. Submit Now

Leica M7, 1.4/50 Summilux, RDP III @Griffith Observatory, Los Angels, CA 残念なことに、全く忘れていて風呂に入っていたのだが、期せずして先日取材を受けたNHKスペシャルの「医療ビッグデータ」に、先ほど何秒か登場していたようだ。 それでそのリアルタイム検索結果*1を見ていたのだが、そこで扱われていたデータがビッグデータかどうかというツイートが結構な量であることに驚いた。ビッグデータの特徴として3V（Volume, Variety, and Velocity）と言った言葉が広まってしまっているせいもあるだろう。（自分も時たま使ってしまうので今回反省している。） この方々の気持ちはわかるが、このブログの読者の方々ならお気付きの通り、今起こっている変革の本質はデータが巨大かどうかということではない。 ― 現在起こっている変革の

先日、とあるコンサルの社長さんとお酒を飲みながらお話していて出てきた話題が「畢竟データ分析って何の役に立つんだろう？」というものだったんですが、そこで僕が思い出して紹介したのが「獺祭」で世界進出を成功させている旭酒造のエピソードだったのでした。 ということで、その事例を振り返りながら久しぶりにちょっと与太話でもしようと思います。 http://www.tv-tokyo.co.jp/cambria/backnumber/20140116.html ちなみに上ははてブでも大きな話題を呼んだ東洋経済の特集記事ですが、僕にとってはテレ東カンブリア宮殿で紹介された時の映像の方が遥かに衝撃的でした。 「獺祭」は杜氏でも何でもない普通の社員が、データに基づいて一挙手一投足を決めながら仕込んでいる 東洋経済の記事では割とざっくりとしか書かれてないんですが、カンブリア宮殿で放映された映像では獺祭の製造工程の

BoxPlotR: a web tool for generation of box plots. Spitzer M, Wildenhain　J, Rappsilber J, Tyers M. Nature Methods. 2014 Jan 30;11(2):121-2. 「棒グラフ」と「ボックスプロット(箱ひげ図)」 ①　棒グラフ(Bar plot)は、平均(mean)を棒の高さで、標準偏差(sd)または標準誤差(standard error of the mean; sem)をエラーバーで示してデータを比較を表現する方法である。非常に多く用いられる方法だが、平均と標準偏差という単純な要約統計量(summary statistics)だけの比較であるため、元のデータの構造の違いを見落とし、結果的に間違った結論も導くことがありうる。一方、以下で述べるボックスプロット(Box plot、

カナダのブリティッシュコロンビア大学が行った研究によると、科学的研究で集められたデータの8割は、その20年後のうちに失われているそうだ（United Press International、slashdot）。 1991年から2011年にかけて発表された516の研究に使われたデータのオリジナルを辿ったというこの研究によると、発表から2年後には全てのデータセットにアクセスできたが、3年後には17％がアクセスできなくなり、20年では80％が失われるという結果となった。失われたデータは使われなくなったメールアカウントや古いストレージなどに格納されていたためにアクセスできなくなくなるという。 データが研究者とともにあるという現在の仕組みでは、時間と共にほぼ全てのデータが失われることを意味するという。替えがきかないデータや、再現するには多額の費用がかかるものもあり、検証や新たな用途のためにこれらのデ

はじめに 最近超人気の漫画として私のTwitter TLを賑わす作品、その名も「進撃の巨人」。 これだけ人気なんだからきっと面白いに違いないのですが、 なんか絵が怖そうだし、人がバンバン死んでてグロいっぽいという噂を聞くので、 なんとか漫画を読まずに、それでいて進撃の巨人のキャラについては知りたい、 そう願う潜在的進撃の巨人ファンも全国に70万人くらいいらっしゃると思います。 そこで、データから進撃の巨人にどんなキャラが登場するか推測してみましょう。 扱うデータとして、pixivのタグ情報を利用します。 商品レビューコメントなどとは違い、ファンの創作活動がダイレクトに反映されるサービスなので、 そこに付与されるタグ情報は、ファンの熱（過ぎる）いメッセージが込められているに違いありません。 今回、以下のような縛りを入れています。 1．勿論原作は見ない 2．pixivのタグ情報は参照するけど、

日常系の才能 オフラインラブを見終わった。いい番組は見終わったあとも心に残り、自分の人生に干渉してくる。 私が恋愛リアリティ番組に出たらどうなるんだろうとふと思った。客観的に考えて、私が誰かに相手にされる気がしない。第一印象で話しかけたいと思われるような容姿ではな…