富士通研究所は、AI分野における世界最大のOSSであるScikit-learnをサポートするため、2019年からScikit-learnコンソーシアムに加入し、OSSコミュニティの持続的発展に寄与しています。 今回、Scikit-learn のDevSprint JapanをScikit-learnコンソーシアムと共同で5月26日（水）- 5月28日（金）の日程で開催することになりましたので、参加者を募集します。 またDevSprint Japanに合わせて、Scikit-learnやトポロジカルデータ解析技術の機械学習応用(富士通研究所で開発しているTopological Data Analysis Time Series Shaper: TDA-TSS含む)に関するチュートリアルも開催します。 Scikit-learn DevSprint Japanについて・日程： 2021年5月26

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

TOPICS Data Science , Database 発行年月日 2018年04月 PRINT LENGTH 568 ISBN 978-4-87311-834-5 原書 Hands-On Machine Learning with Scikit-Learn and TensorFlow FORMAT PDF EPUB 本書はコードを動かしながら学び、機械学習が使えるようになることを目的とした書籍です。現実的な問題を出し、サンプルデータを示しながら、機械学習で問題を解決に導くまでの一連の手法を体系立てて解説します。 深層学習以外の機械学習にはscikit-learnを使い、機械学習プロジェクトの流れ、データからモデルを学習する方法、コスト関数の最適化、データの処理・クリーニングなどの基礎から、特徴量の選択や過学習、データの次元削減など応用までを学びます。 深層学習にはTensorFl

概要 何らかの意思決定を行う際の強い味方「データ分析」。 今回のチュートリアルでは新たにデータ分析の世界に入門してみたい方向けに Python とその便利なライブラリ Pandas + scikit-learn を用い、統計学の様々な手法を利用してデータを解釈するための方法、可視化、そのための前処理などについてのハンズオンを行います。 身につく内容 ビジネスにおけるデータ分析の流れ データの可視化（グラフの作成） 基礎統計量による分析（平均・分散など） データの相関と回帰（重回帰分析） データの分類（決定木分析）

機械学習のツールとして、scikit-learnは非常に使いやすいPythonのパッケージとされています。 このパッケージには、例えば交差検定の評価を繰り返して、 分類器に良さそうなパラメータを「検索」してくれるGridSearchなど、 研究をスムーズに進行させるための便利な機能がたくさん搭載されています。 一方、言語処理におけるクラスタリングやクラス分類問題の手がかりとして、 文書にある単語がよく使われます。 これらの単語は、文書/文によって頻度分布に偏りがあるため、 単語頻度からなる素性ベクトルに対してtf-idfによる正規化を行うことが普通です。 scikit-learnでtf-idfを計算 scikit-learnでは、テキスト群に対してtf-idf値を計算する機能が用意されており、 TfidfVectorizerと呼ばれるクラスによりこの機能を簡単に実現できます。

今回のソリューション：【scikit-learn/サイキットラーン】 〜「機械学習」を手軽に始められるライブラリ「scikit-learn」の紹介。ディープラーニングや自然言語分析の解説も〜 「機械学習」という言葉を、さまざまな場所で目にするようになった。新しい事業での活用も多く見られるが、裏ではどのような仕組みで動いているのか、そして自社のサービスに組み込む場合は何から始めるべきなのか、といったことをつかむのは難しい。 その機械学習を用いて、ユーザーに最適な情報を届けるキュレーションニュースアプリ「カメリオ」を運営する白ヤギコーポレーション。 同社は、その開発にPythonを用い、実験フェーズの検証を効率化するために、機械学習ライブラリscikit-learnを使用している。同ライブラリを使うと、誰でも簡単に機械学習を体験できるという。 カメリオの開発を担当する谷田 和章さんに、どのよう

主観的な観点からPythonとRの比較した記事は山ほどあります。それらに私たちの意見を追加する形でこの記事を書きますが、今回はこの2つの言語をより客観的な目線で見ていきたいと思います。PythonとRを比較をしていき、同じ結果を引き出すためにはそれぞれどんなコードが必要なのかを提示していきます。こうすることで、推測ではなく、それぞれの言語の強みと弱みの両者をしっかりと理解できます。 Dataquest では、PythonとRの両方の言語のレッスンを行っていますが、データサイエンスのツールキットの中では両者ともそれぞれに適所があります。 この記事では、NBA選手の2013/2014年シーズンの活躍を分析したデータセットを解析していきます。ファイルは ここ からダウンロードしてください。解析はまずPythonとRのコードを示してから、その後に2つの異なるアプローチを解説し議論していきます。つま

目的 scikit-learnのSVM（SVC）は，多クラス分類を行うとき，one-versus-oneで分類する． しかし，one-versus-the-restの方が識別性能がいい場合がある（多い，という報告を見かける）ので， sklearn.multiclassのOneVsRestClassifierを使った one-versus-the-restでの多クラスSVM分類の仕方をメモしておく． （注）ただし，LinearSVCはデフォルトでone-versus-the-restを採用している． One-versus-the-restとOne-versus-one $K$クラス分類問題を考える． One-versus-the-rest ある特定のクラスに入るか，他の$K-1$個のクラスのどれかに入るかの2クラス分類問題を解く分類器を$K$個利用する． One-versus-one ある特

前回は scikit-learn に実装されている機械学習の手法をざっくりと書いてみたのですけれども、それなりに需要がありそうなので今日から scikit-learn を使った機械学習のサンプルコードを書きつつ、その手法の理解と実践に迫ってみたいと思います。 まずは以前にもやった K 平均法によってクラスタリングをする例を挙げていきます。 K 平均法はクラスタリングの中でも基本的な手法で、シンプルで高速に動作しますし、入門にも最適です。動作についての説明は毎回おすすめしているのですがこのあたりがわかりやすいです。 クラスタリングする対象としてはやはり株価データを利用します。 株価のデータは 無料で誰でも入手することができる 企業の「業績」を示す指標となるリアルなデータである 定量的なデータであるため分析しやすい といった特長があるため扱いやすいのです。 企業の業績と株価は密接な関係にありま

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 前回、株式の時系列データを分析する話で、後半にちょっとだけ機械学習の話をしました。今日は機械学習ライブラリ scikit-learn に触れます。 scikit-learn といえば以前にも簡単なクラスタリングの例をあげたり、サポートベクトルマシンやクラスタリングで問題を解く、 TF-IDF を計算する、回帰モデルの可視化、 DBSCAN によるクラスタリングといったことをしてきましたが、あらためてライブラリの機能を整理します。 機械学習と言うと難しい数学を駆使するイメージがつきまといますが、完成度の高いライブラリを使えば利用者が機械学

ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog はじめに こんにちは。ヤフーで広告プロダクトのデータ分析をしている田中と申します。 今回のAdvent Calendar 2014では、データサイエンスのプロセスの中の「分析・モデリング」で私がよく利用しているツールについて書いています。 どうぞよろしくお願い致します。 データサイエンスのプロセスについては、いろいろと定義があると思いますが 基本的に以下の5つのプロセスからなると自分は考えています。 ・問題設定 ・データ抽出・加工 ・分析・モデリング ・評価 ・ビジネス提案/プロダクト実装 どのプロセスもとても大事で、例えば「問題設定」では、ビジネス的な課題（売上低迷・KPI低下）を分析課題に落とすのですが、ここを間違えてしまうと

はじめに 11月となり、僕の修士研究*1も大詰めになってきました。 研究ではPythonの機械学習ライブラリであるscikit-learnを使っているのですが、先日、「（1時間かけて）訓練したモデルをシリアライズしておけば、評価用のプログラムと分割できて、色々と捗るのでは？」と思って調べたところ、かなり簡単にできたのでやり方をまとめました。 シリアライズとは シリアライズ - Wikipediaでは、2つの意味が紹介されていて、今回は後者の方が該当します。以下引用です。 ある環境に存在しているオブジェクトをバイト列やXMLフォーマットに変換すること。この意味では直列化という訳語が用いられる。同義語にMarshallingがある。対義語は直列化復元ないしデシリアライズである。 今回の文脈で言えば、Pythonプログラムの実行中にメモリ上に存在する変数を、バイト列に変換する（したがって、ローカ

勉強会で話した、Scikit-learnの入門資料です。speakerdecでも共有しましたが、slideshare一本化のためこちらにも上げますRead less

ソフトウェアエンジニアとして働き始めて10年目。昨年の秋に妊娠が発覚し、現在産前休業中である。 「妊活が大変」とか「子が生まれました」というブログはよく目にしていたので、妊活・出産・子育てに関する情報は自発的に集めていたつもりだった。 しかし、妊娠してから妊娠中の働き方についての認識の解像度がめちゃくちゃ低かったことに気づき、出産前に妊娠中の働き方について記録しておければと思いブログにまとめた。 以下は私の妊娠週数とそのときの体調が普段と比べてどれくらいだったかをまとめた図である。 妊娠初期(~16週)とつわり 生理予定日3日後にパーソナルジムにいったら、いつものダンベルを持つと死にそうになった。 半分の重さにしても息切れすることから、これはおかしいと思い、しばらく安静にした後妊娠発覚した。 私はつわりは6週から17週までで、比較的軽い方だったと思う。 食べ続けてそれをたまに吐くというよう

はじめに Python で機械学習する場合、pandas で前処理したデータを scikit-learn で処理する、というケースが多いと思う。pandas, scikit-learn には それぞれ 簡単にできる / できない処理があるので、うまいこと連携できるとうれしい。 scikit-learn の各メソッドは numpy.ndarray に対する処理を前提にしているため、pandas のデータ形式 (DataFrame や Series) を渡すと 内部で ndarray に変換して結果を返してくる。そのため、結果に対して 直接 pandas の処理を続けることはできない。 ndarray で処理すりゃいいじゃん、、というむきもあるが、自分はどうしても pandas で処理がしたいんだ。とりあえず、pandas のデータをできるだけ維持したい、というモチベーションがあるものとして処