データサイエンティストとは データサイエンティストは、端的にいえばAI社会におけるデータを扱うプロフェッショナルです。大量のデータを集め、整理し、パターンやトレンドを分析し、ビジネス上の課題や問題に対する解決策を見つける役割を果たします。 近年、人々の生活のデジタル化が進んだことで、知らず知らずのうちに人々の行動がデータとして蓄積されています。例えば、インターネットで使用した「検索ワード」や、ECサイトにおける購入履歴、SNSにおける投稿など、人々が行動した過程や結果で生成されるさまざまな記録は、すべてその人の特徴を表すデータの一部になります。 また生成されるのは個人のデータだけでなく、事業者のデータも数多く存在します。例えば農業や水産業などの一次産業、その先の二次産業、三次産業においても、気象状況や収穫量、工場での生産量、実際の市場での流通量など、企業活動を通じてさまざまなデータが生成さ

データサイエンティストとは――21世紀で最も魅力的と称された職業の今とこれから データサイエンティスト――2012年10月、アメリカのThomas H. Davenport氏とD.J. Patil氏が発表した"Data Scientist: The Sexiest Job of the 21st Century"（邦訳『データ・サイエンティストほど素敵な仕事はない』DHBR2013年2月号）で、21世紀、最も魅力的と称された職業です。 そこから本記事を執筆している2022年9月時点で約10年が経過しましたが、今も魅力的といえる職業といえるのでしょうか。 時間の経過とともに技術が進化した結果、データサイエンティストの需要は高まりました。10年前は魅力的な職業という表現でしたが、2022年の今、なくてはならない職業の一つといえます。 その背景には、2000年初頭からの、各種Webサービスやソー

(Image by wal_172619 from Pixabay) 去年で恒例の推薦書籍リストの更新は一旦終了したつもりだったんですが、記事を公開して以降に「これは新たにリスト入りさせないわけにはいかない！」という書籍が幾つも現れる事態になりましたので、前言撤回して今年も推薦書籍リストを公開しようと思います。 初級向け6冊 実務総論 データサイエンス総論 R・Pythonによるデータ分析プログラミング 統計学 機械学習 中級向け8冊 統計学 機械学習 テーマ別15冊 回帰モデル PRML 機械学習の実践 Deep Learning / NN 統計的因果推論 ベイズ統計学 時系列分析 グラフ・ネットワーク分析 データ基盤 コメントや補足説明など 完全なる余談 初級向け6冊 今回は新たに加わったテキストがあります。 実務総論 AI・データ分析プロジェクトのすべて[ビジネス力×技術力＝価値創出

ソフトウェアエンジニアがプログラミングの腕を競い合う競技プログラミングや、データサイエンティストや機械学習エンジニアが機械学習モデルの精度を競い合うKaggle。こうしたコンペティションのトップランカーが持つテクニックやスキルを実際の業務にも活かそうとしている、あるいはすでに活かしている企業も少なくないでしょう。 一方で、その能力を最大限活かして仕事に取り組めるかには課題も残っているようです。「競技のトップランカー」の肩書きに引きずられるためか、彼らの強みを活かすためには起用範囲を絞らざるをえない、という悩みも方々から聞こえてきます。 そんな中、リクルートではトップランカーのスキルや技術だけでなく、「本質的な強み」に着目。その「本質的な強み」を、領域を横断してさまざまなプロジェクトに活用することで、事業課題の解決やサービス価値の向上につなげています。 トップランカーの「本質的な強み」とは、

はじめに どうもこんにちは。データアナリストをしているkunishouです。2022年も残すところ今日、明日のみ。皆さん年の瀬をいかがお過ごしでしょうか？ 私は先日無事に仕事を納めることができましたが、仕事も勉強も何もしなくていい日が数日続きすでにソワソワしてきました。この禁断症状を抑えるべく、2022年の技術動向の振り返りもかねて、 2022年のPython/データ分析関連の人気記事をまとめてみることにしました（完全に思い付きです）。 本記事では、2022年にQiitaに投稿された Python/データ分析関連の記事の中から いいね数の多かった150記事をピックアップし表にまとめました。 年末年始の暇つぶしがてらにでも読んでもらえたら幸いです。 モチベーション 実はQiita公式からも毎年1月にQiitaの人気記事のランキングが公開されています。ただ、Qiita全カテゴリでのランキングで

みなさんこんにちは デジタル改革推進部の浅野です。 NTT Comでは社内の分析課題をコンペにしてみんなで解くイベントがあるのですが、今回は正解データが十分用意できなくてもコンペを開催することに成功したので、その妙技をご紹介したいと思います。 (過去の開催はこちらにも投稿しております) 分析コンペとは 分析コンペとは予め用意された課題に対して参加者が予測を行いその精度を競う催しです。コンペサイトではKaggleやAtmacupなどが有名です。 コンペでは参加者に学習用のデータが配られます。学習用データの中には正解データが含まれており、それを頼りに参加者は予測を作ります。さらに参加者に秘密の評価用データも裏にあり、最終的な順位はそちらで決めます。 つまりコンペを開くには、正解データを十分に用意しておく必要があります。 今回のコンペのテーマ 8月に新しいコンペのテーマ案として「社内にかかってく

近年は、大量のデータを活用して業務のデジタル化に役立てる「データ利活用」という考え方が広がりつつあります。データ利活用を成功させるうえで、重要な手段の一つがデータ解析です。 データ解析と似た用語にデータ分析があり、両者の違いがよく分からないという方もいるでしょう。今回はデータ解析とデータ分析の違いを始め、ビッグデータとの関係性についても解説します。 また、データ解析を行うにあたっては数多くの手法があるため、代表的な手法についても触れています。データ解析を行うメリットや注意点についても解説していますので、今後データ解析について知りたい人から実際に関わっていく人まで、有益な内容となるでしょう。ぜひ最後までお読みいただければ幸いです。

研究員の渡辺（@watasan） です。 先日、ペパボ研究所のメンバーが社内で実施した、新卒エンジニア向け機械学習研修についてご紹介します。 ペパボ研究所は2020年から、新卒エンジニア研修1の一環として機械学習研修を実施しています2。 今年で3年目となりますが毎年アップデートを重ねており、今年はより「ペパボらしさ」の強い研修となりました。 このエントリでは本研修の目的やコンテンツについてご紹介できればと思います。 本研修の位置付けと目的 GMOペパボ（以降ペパボ）では、新卒入社したエンジニアに向けて、様々な技術要素について「現時点で一番良いやり方」を学んでもらうための研修を毎年行っています2。 フロントエンド、バックエンド、インフラ、セキュリティなど、Webサービスを構築するための技術に関して「現時点で一番良いやり方」を学ぶことが研修全体のゴールとして設定されています。 この新卒エンジニ

公開した研修資料は3つ。機械学習についてのイントロダクションや再帰化と機械学習の関係性、サービス事例などを紹介している。資料と併せて、同社の研修スケジュールも公開。1日3時間の研修を計3日間行ったという。 9時間行った研修のうち、半分近くの時間はGoogleが提供する研修用教材「Machine Learning Crash Course」でのハンズオンを行い、一般的な機械学習の知識を身に付けるよう指導したという。その際、リアルタイムでのフィードバックの実施や日本語で専門用語の意味をまとめた用語集を配布するなどの工夫をしたとしている。 関連記事 14時間分の機械学習教材も　GMOペパボ、エンジニアの研修資料を公開 GMOペパボが、新人エンジニアの研修資料を今年も無償公開。今年は機械学習教材を一新した。 ゲームシステムを高速化する社内ノウハウを無償公開　Unityエンジニア向けに　サイバーエー

(Image by Wokandapix from Pixabay) 個人的な観測範囲での話ですが、データサイエンティストという職業は「21世紀で最もセクシーな職業」として刹那的な注目を集めた第一次ブーム、人工知能ブームに煽られて火がついた第二次ブーム、そして「未経験から3ヶ月で人生逆転」ムーブメントと折からのDXブームに煽られる形で沸き起こった第三次ブームを経て、何だかんだで社会に定着してきた感があります。 で、このブログを始めた頃からの連綿と続くテーマになっていますが、いつの時代も話題になるのが「データサイエンティスト（になるに）は何を勉強すべきか」ということ。7年前から恒例にしてきた「スキル要件」記事では、基本的には「どれも必要な知識（学識）」であるという前提で分野・領域・項目を挙げてきました。少なくとも、最初の3回ぐらいはそういう認識でスキル要件記事を書いていた気がします。 ところ

Diabetes Dataset：糖尿病（年齢／血圧／血糖値などの10項目）の表形式データセット：AI・機械学習のデータセット辞典 データセット「Diabetes」について説明。442件の糖尿病の「表形式データ（年齢／血圧／血糖値などの10項目）」＋「ラベル（1年後の糖尿病進行度）」が無料でダウンロードでき、回帰問題などのディープラーニングや統計学／データサイエンスに利用できる。scikit-learnにおける利用コードも紹介。

「SIGNATE Student Cup」は、高度なデータ活用スキルを有する学生の発掘・育成を目的として、同社が企画する学生限定のイベント。 データサイエンスやAIモデリングといった技術・アイデアを競い合うデータ分析コンペは、予測部門とインサイト部門の2部門制で、予測部門では英語圏の求人情報に含まれるテキストデータ（職務内容に関する記述）をもとに、その職務内容がデータサイエンティスト、機械学習エンジニア、ソフトウェアエンジニア、コンサルタントのいずれの職種に該当するかを判別するアルゴリズムを構築し、予測精度の高さを競う。インサイト部門では、データサイエンティストのスキルを定量的に評価するアルゴリズムの考案とその説明レポート作成に挑戦し、審査員による定性評価で勝負を決する。 コンペ終了後は、入賞者表彰と入賞者による解法プレゼンテーションなどが行われる「合同イベント」と、協賛企業各社が自社のデ

TL;DR 10年前の落ちこぼれポスドクが今は立派なデータサイエンティストになれたっぽいので、ポエムを書きました。業界事情の振り返りと、仕事の話、知名度が上がることの良し悪し、キャリアの話などを綴っています。 時が経つのは早いもので、落ちこぼれポスドクだった僕が企業転職をし、データサイエンティストになって今日で10年が経ちました。自分の中ではデータサイエンティストに転じたのはついこの前のことのように思える一方で、あまりにも多くの様々な体験をしてきたせいか「もっと時間が経っている気がするのにまだ10年しか経っていないのか」という気もしています。 今でも時々SNSで話題に上る回顧録を書いたのが3年前のことなんですが、それ以降は相変わらず同じく現職に留まり続けていることもあり、有体に言えばそれほど大きく変わったことはありません。なので、新たに3年間の振り返りを書くのではなく、回顧録で書き漏らした

特定健診などで糖尿病と指摘された人が実際に医療機関を受診するかどうかを、過去に医療機関を受診した頻度や使っている薬の種類など4つの項目から事前に予測できるとする研究結果を東京大学などのグループが発表しました。 この研究は、東京大学医学部附属病院の山口聡子特任准教授らのグループが行いました。 特定健診などの健康診断では、糖尿病と指摘され、医療機関の受診を勧められても、実際に受診するのは3分の1程度にとどまるとされ、課題となっています。 グループは、医療統計データベース会社に登録された糖尿病の診断基準に該当する1万人余りを対象に半年以内に受診するかどうかに関連する特徴があるかを「機械学習」と呼ばれる方法を使って分析しました。 その結果、受診しない傾向と関連していたのは、過去1年間に医療機関を受診した頻度が少ないこと、血糖値に関わる「HbA1c」の値が低いこと、それに脂質異常に関する薬を処方され

コモディティ化するKaggleのTier　差別化のポイントは？ 大久保渉太氏（以下、大久保）：では次の質問に行きます。「昨今、特に日本においてKaggleのTierは、コモディティ化しつつあるように見えます。これについてどう思われますか？　そこで大切になる、Tierだけでは表せない差別化ポイントは何だと思いますか？」。これは誰が答えますか？ 横尾修平氏（以下、横尾）：では僕が答えます。 （一同笑） 大久保：お願いします。Tierがコモディティ化しているという話ですね。 横尾：コモディティ化しているというのは、事実としてあると思っています。Grandmasterの数は、確か日本だとまだ20名ぐらいしかいない気がするので、まだまだ大丈夫なんじゃないかなと思います。マスターになってくると、今は相当数が増えているという印象があって、そうなると差別化する要素が必要になってくるのではないかなと思います

機械学習モデルの精度を競うコンペティションプラットフォーム「Kaggle」 大久保渉太氏（以下、大久保）：本日の流れです。本日はこれらの目次の内容を通して、みなさんにKaggle Grandmasterの仕事や働く環境を一歩踏み込んで紹介できればと思っています。まずは私たちが取り組んでいるKaggleの紹介をしたいと思います。 Kaggleをご存じの方もけっこういると思いますが、機械学習モデルの精度を競うコンペティションのプラットフォームです。このKaggleに参加している人をKagglerと呼びます。DeNAには、Kaggle Grandmaster4名など、世界トップクラスのKagglerが数多く在籍しています。 図のように、Kaggleではスポンサーが出した課題に対して参加者が機械学習の予測モデルを提出してそのスコアを競っています。成績上位者であるKaggle Grandmaster

Yann LeCun氏はベル研究所に在籍していた30年前、画像認識などのタスクを解決する上で極めて有望だと考えられる「畳み込み神経回路網」（CNN）という機械学習（ML）アプローチを確立した。そしてCNNは今や、人工知能（AI）分野のディープラーニング（DL）を支える主力テクノロジーと認識されるまでになり、同氏は2019年にコンピューティング分野のノーベル賞に相当する「ACM A. M. チューリング賞」（ACM A. M. Turing Award）を受賞した。 ニューヨーク大学の教授であり、MetaのチーフサイエンティストでもあるLeCun氏は、3月21日の週に米ZDNetが実施したインタビューにおいて、最近はこの30年間で最もエキサイティングな日々と送っていると語った。同氏はその理由として、新たな発見によって、CNNのようなAI分野の実用性を向上させる可能性のある長きにわたる議論が活

サインインした状態で「いいね」を押すと、マイページの 「いいね履歴」に一覧として保存されていくので、 再度読みたくなった時や、あとでじっくり読みたいときに便利です。

総務省は1月11日、データサイエンスのオンライン講座「誰でも使える統計オープンデータ」を、MOOC講座プラットフォーム「gacco」で開講した。社会人・大学生に、統計オープンデータを活用したデータ分析の手法を解説する講座で、3月7日まで受講できる。 週約3時間×4週間の内容。政府統計の総合窓口「e-Stat」、総務省と統計センターが提供する統計GIS、API機能などを使い、データ分析の手法を学べる。 講師は「統計学が最強の学問である」の著書で知られる統計家の西内啓氏や、総務省統計局の担当者など。 2017年6月に初開講して以来、断続的に開講し、のべ約2万8000人が受講した講座。 関連記事 政府が「ワクチン接種状況ダッシュボード」公開　性別や都道府県別に可視化 政府が、全国の新型コロナワクチンの接種状況を一覧にまとめた「ワクチン接種状況ダッシュボード」を公開。統計情報をまとめたCSVやJS