特徴量選択とは 特徴量選択の難しさ 特徴量選択の手法の大別 教師ありの特徴量選択 filter method 単変量とクラスラベルの関連性を上げる 関係性を上げて冗長性を下げる 関係性を上げて多様性を上げる wrapper method Forward SelectionとBackward Elimination 遺伝的アルゴリズムと粒子群最適化 その他のwrapper method embedding method L1正則化 Regularized tree 特徴量選択のこれから 超高次元データと特徴量選択のアンサンブル 不均衡データにおける特徴量 オンライン特徴量選択 深層学習を用いた特徴量選択 最後に 特徴量選択とは 特徴量選択(Feature Selection, 変数選択とも)はデータサイエンスにおいて非常に重要である。 例えば、製造業において欠陥品を判別するタスクを考えてみよ

先端IT人材の中でも急増する需要に追い付かず、慢性的な「売り手市場」となっている「データサイエンティスト」という職種。企業から引く手あまたといわれるデータサイエンティスト職の実態はどうなっているのか？ということで、人材大手パーソルキャリアで現役のデータサイエンティストとして活躍する鹿内学さんに、いろいろと話を聞き、さらに世界最大級のオンライン学習教育プラットフォーム「Udemy(ユーデミー)」で役に立つ講座はどれかというのも教えてもらいました。 世界最大級のオンライン学習プラットフォーム | Udemy 目次 ◆1：「データサイエンティスト」とは？ ◆2：「データサイエンティスト」が引く手あまたなワケ ◆3：データサイエンスが使えないと給料が減る時代が来る！？ ◆4：「データサイエンティスト」になるための学習法とは？ ◆5：プロがおススメするUdemyデータサイエンス講座5選 研究者からビ

『MarkeZine』が主催するマーケティング・イベント『MarkeZine Day』『MarkeZine Academy』『MarkeZine プレミアムセミナー』の 最新情報をはじめ、様々なイベント情報をまとめてご紹介します。 MarkeZine Day

スマートフォンやパソコン、タブレットなど、複数のデバイスを日常的に利用するユーザーが増えている。そうしたユーザーの行動をトラッキングするため、株式会社ロックオンが提供するマーケティングプラットフォーム「アドエビス」では、デバイスやブラウザをまたぐ同一ユーザーを推定する「クロスデバイス機能」の提供を開始した。その裏側を支えているのは、膨大な量のアクセスデータを機械学習によって処理する分析基盤だ。本セッションでは入社2年目の若手エンジニアである内藤勇之助氏が、機械学習を用いたサービス開発で苦労した点や工夫した点について語った。 講演資料：メモリも、僕のキャパシティも溢れっぱなし。。2年目エンジニアが実現した機械学習 株式会社ロックオン 開発部 内藤勇之助氏 機械学習を活用し、クロスデバイス計測を実現 「アドエビス」は、広告効果測定ツール市場で3年連続シェアNo.1を誇るツールだ。導入実績は90

PythonでKaggleなどのデータ分析を行う際、pandasでゴリゴリ作業をすることが多いかと思います。 最近知って「めっちゃ便利やん！」ってなったものをまとめておきたいと思います。 全部の関数にドキュメントへのリンクを付けたので参考にしてください。 今回も検証にはTitanicのデータセットを用います。また、文中でのdf.hoge()はpandasのDataFrameのメソッドであることを、pd.hoge()はpandasの関数であることを表します。 df = read_csv('input/train.csv', index_col=0) print(df.shape) df.head() 最低限押さえておきたいやつら まずはここから。 10 Minutes to pandas よく使うやつら。詳しい解説は省略するので、ドキュメントのリンク先を見てください。 関数 内容 リンク d

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? ホテルを直前に予約する時に人気のあるHotel Tonightというサービスを提供しているスタートアップがこちらシリコンバレーにあります。そこでデータ分析のチームを率いているAmanda Richardsonが、スタートアップがデータを使うときによく犯す間違いをこちらの"The Four Cringe-Worthy Mistakes Too Many Startups Make with Data"という記事の中で4つにまとめていますが、今日はそちらを紹介したいと思います。これらはもちろんスタートアップに限らず、どのようなサイズの会社で

10月20日に開催された「X-Tech JAWS」では、各業種でのAWS活用事例が披露された。FoodTech代表の登壇としたのは、実名制グルメサービスを展開するRettyの林田千瑛さん。AWSと一部GCPを用いることで、2ヶ月という超短期間でデータ分析基盤を構築した事例を披露した。 2ヶ月でデータ分析基盤の構築？　まあ、やるか 月間利用者数が3000万人を突破した実名制のグルメサービス「Retty」が扱う情報は多岐に渡る。お店やユーザー、料理に関するテキストや写真のほか、ユーザーの投稿、アクセスログなど、現時点で数PBを超える容量を抱えている。2017年5月に入社したばかりの林田さんだが、これらのデータの分析基盤を2ヶ月で作るというお題が落ちてきた。「一応、私の肩書きデータサイエンティストなので、正直インフラエンジニアの仕事じゃねと思ったけど、まあやるかということでやりました（笑）」（林

(Photo credit: https://pixabay.com/en/books-door-entrance-italy-colors-1655783/) この記事は一昨年のこの書籍紹介記事のアップデート版です。 相変わらず毎月のように新刊書が出続けるデータ分析業界ですが、良い本が増え続けてきたせいでついに初級者向けは6冊、中級者向けは何と15冊にまで膨れ上がってしまいました（汗）。ともあれ、自分のところにアフィリエイトの類は一銭も入らないにもかかわらず*1懲りずに書籍紹介をやろうと思います。 あ、最初に断っておきますが僕の知識レベルは極めて適当なので、極めていい加減なことを書いている可能性があります。また最初に読んでから時間が経っていて記憶があやふやなせいで、内容に関する記述が不正確な書評が混じっている可能性もあります。誤っているところやおかしいところがあったらバンバン突っ込んでく

リクルートのAI研究所、Recruit Instituite of Technologyがデータサイエンスの活用事例を広く共有するイベント「データサイエンスの最先端活用」を開催しました。新日鉄住金ソリューションズの本橋智光氏は「鋼鉄の錬金術師を目指すNS Solutionsの取組紹介」と題し、同社のデータ分析の実績やその具体的な仕事内容について話しました。 データ分析はお金に変えないといけない 本橋智光氏（以下、本橋）：それではよろしくお願いします。私は自社のデータ分析ではなく、お客様のデータ分析をコンサルタントとしてやっています。 データ分析はやると楽しいのですが、目的を見失うと、アクションに結びつかなくなってしまいます。ビジネスとしてやるならばお金に変えないといけない。というメッセージを込めて、今回は錬金術師という言葉をタイトルに入れさせていただきました。なので、今日はデータ分析のビジ

デブサミ2016 #devsumi で話させていただいた資料です。 http://event.shoeisha.jp/devsumi/20160218/session/1007/ Read less

印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます データ分析にはどのような基盤を構築すれば良いのかーー。データ分析を考える上でまずは、ビジネス情報はどのようにデータとして存在するのかを考えてみよう。小規模レベルでは逐次入力されるスプレッドシートに、ある程度の規模のビジネスであれば自動化されたシステムを通じて入力されるリレーショナルデータベース（RDBMS）に、日々のビジネス活動とともに蓄積されていくものである。 どのような形式であれ、ほとんどの企業がビジネス情報をデータとして蓄積しているはずだ。本稿ではスプレッドシートやRDBMSといったソフトウェアの違いを特に区別せず、蓄積されたデータの集合のことを“データベース”と呼ぶことにする。 大概の企業がデータベースを持っている一方、世の中の

総務省は、本日、将来の経済成長を担う“データサイエンス”力の高い人材育成のための取組として、データサイエンス・オンライン講座の第2弾「社会人のためのデータサイエンス演習」の受講者の募集を開始します。 この講座は、行政やビジネスでの活用を想定した実践編講座です。 ○　我が国の国際競争力を強化し、経済成長を加速化させるためには、ビジネスの現場においても、公的統計やビッグデータを活用した課題解決能力の高い人材、いわゆるデータサイエンスを身に付けた人材が不可欠となっています。 ○　このような状況を踏まえ、総務省統計局及び統計研修所は、“データサイエンス”力の高い人材育成のための取組として、自らの学びをサポートするウェブ上で誰でも参加可能なオープンな講義「社会人のためのデータサイエンス入門」を2度に渡り開講し、延べ2万人を超える多くの方に受講いただきました。 ○　本日、上記入門編講座に続く第2弾の講

印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます 前回はマーケティング部門側の視点から、日々の分析に役立つ技術について解説した。今回は前後編に分けて、おもに主に情シス部門に向けて、エンジニアの視点からデータ分析において役立つさまざまな技術を紹介する。情シス部門側は分析チームにおいて、下記のような業務を担う可能性が高い。 集計処理の自動化 分析レポートの継続化 データの収集 分析用データの蓄積 これらを実施する上で役立つ技術は、いったいどのようなものがあるのか。 集計処理の自動化・分析レポートの継続化 プログラミング言語「R」 プログラミング言語「R」は、集計処理の自動化や継続的にレポートを出力するための便利なツールだ。前回はマーケティング部門側の担当者がインタラクティブな分析に利用して