で大丈夫です。 これで環境構築は終わりです。 お手軽すぎる...! 適当にデスクトップにフォルダを作成してそこでnotebookを作成しましょう。 スクレイピング編 さて、そもそも「スクレイピング」とはなんでしょうか？ wikipediaさんによると ウェブスクレイピングはWWWから自動的に情報を収集する処理に他ならない。 つまり「インターネットから情報を自動で収集する」、ということですね。（そのまんますぎる） 今回の分析では、何千、場合によっては何万といった賃貸物件のデータを利用するわけですが、１つの物件に対して ・物件名 ・家賃 ・広さ ・間取り ・立地（最寄り駅、最寄り駅までの距離、詳細な住所） etc... これを手動でExcelに何千回、何万回と打ち込んでいく...、考えただけでもいやになりますよね。 そこでプログラミングで一気にデータを集めます。 ここで一つ大事な注意があります

概要 現在、kaggle に Connect X という強化学習の Getting Started コンペ があります。このコンペを通じて強化学習を少し勉強したので、その内容を記載したいと思います。 こちらの書籍をもとに強化学習について理解したことと、Connect Xコンペでの実装を解説した記事になります。間違いがあれば、コメントいただけたら嬉しいです。 bookclub.kodansha.co.jp 強化学習とは 強化学習とは、行動から報酬が得られる環境において、各状況で報酬に繋がるような行動を出力するように、モデルを作成すること。 教師あり学習との違いは連続した行動によって得られる報酬を最大化させるという点です。囲碁を考えた時、ある局面で悪手に見えた一手が、先々進めると実は良い手だった、といった場合のその一手を選択できるようにするのが強化学習になります。 Connect X と強化学

はじめに こんにちは。(株) 日立製作所の Lumada Data Science Lab. の諸橋 政幸です。 プライベートな活動になりますが、「Kaggleで磨く 機械学習の実践力」というタイトルの本を執筆し、6月に無事発売しました。書籍の執筆という貴重な体験をしたこともあり、せっかくなので「執筆を通じて知ったこと／経験したこと」などを書きたいと思います。将来的に本を書きたいなと考えている方の参考になれば幸いです。 本記事では以下のことを書いています。 なぜ執筆することになった／したのか 企画から発売までのプロセス 執筆する際にどんなことで困ったか まずは本の紹介です！ 興味を持った方は是非読んでみてください！書店にも並んでます！！ [タイトル] Kaggleで磨く 機械学習の実践力 -- 実務xコンペが鍛えたプロの手順 https://www.amazon.co.jp/dp/4865

あなたの能力を 必要とする フィールドへ Discover the key to unlock your true potential. Open the Door. コミュニケーションに苦手意識がある。業務を要領よくこなせない。 それはあなたが「はたらくこと」に向いていないのではなく、 「はたらくフィールド」とあなたの能力が 合っていないだけかもしれません。 たとえば、高い集中力と優れた論理力、やり遂げる力を発揮できれば、 「先端IT」というはたらくフィールドできっと活躍できます。 ニューロダイブが編み出した独自プログラムで AI・機械学習・データサイエンス等のスキルを磨き、 あきらめていたキャリアの扉をひらきませんか。 Neuro Diveとは？ Neuro Dive（ニューロダイブ）は、 AIや機械学習、データサイエンス、RPAといった高度なスキル、データを扱うための専門スキルを身に

機械学習を「社会実装」する際に待ち受けている罠と、その解決方法の考察です。 ※この資料は、東京大学グローバル消費インテリジェンス寄附講座（GCI）2020 Summerの講義で使用したものです。 https://gci.t.u-tokyo.ac.jp/gci-2020-summer/ ※2…

追記（2017年7月） こちらのスキル要件ですが、2017年版を新たに書きましたので是非そちらをご覧ください。 「データサイエンティストというかデータ分析職に就くためのスキル要件」という話題が某所であったんですが、僕にとって馴染みのあるTokyoR界隈で実際に企業のデータ分析職で活躍している人たちのスキルを眺めてみるに、 みどりぼん程度の統計学の知識 はじパタ程度の機械学習の知識 RかPythonでコードが組める SQLが書ける というのが全員の最大公約数＝下限ラインかなぁと。そんなわけで、ちょろっと色々与太話を書いてみます。なお僕の周りの半径5mに限った真実かもしれませんので、皆さん自身がどこかのデータサイエンティスト（）募集に応募して蹴られたとしても何の保証もいたしかねますので悪しからず。 統計学の知識は「みどりぼん以上」 データ解析のための統計モデリング入門――一般化線形モデル・階層

(Image by Pixaby) この記事は去年はてブ1100以上ついてしまった与太記事の続編です。その時はタイトルを読んで字の如く「データサイエンティスト」と「機械学習エンジニア」の満たすべきスキル要件（の2017年版）について考察したものでした。 で、まだ1年しか経ってないのに何でまた引き合いに出したのかというと、最近のメディア報道やニュースリリースの類などを見ていると「データサイエンティストにディープラーニングをやらせる」とか「高度な統計分析のできるエンジニアが必要」みたいなどう見ても色々混同している感のある内容が目に付くので、改めてちょっと自己流に交通整理してみようかなと思ったのでした。 特に、空前の人工知能ブームで「人工知能」の語が人口に膾炙すると同時に2014年頃にブームが終わったはずの「データサイエンティスト」の語が何故か復権してしまい、そこら中のメディアでかつて空回りした

(Image by Pixabay) この記事は、以前の同様のスキル要件記事のアップデートです。 正直言って内容的には大差ないと思いますが、今回は2つ新たな軸を加えることにしました。一つは「ジュニアレベル（駆け出し）」と「シニアレベル（熟練職人）」とで分けるということ、もう一つは「データ分析以外の業界知識（ドメイン知識）」にも重きを置く、ということです。 というのも、空前の人工知能ブームが予想よりも長く続いていることで、人材マーケットを観察する限りではデータサイエンティスト・機械学習エンジニアとも求人数が高止まりしているように見えるのですが、その結果としてこのブログの過去のスキル要件記事で挙げたような「完成されたデータ分析人材（熟練職人）」に限らず「駆け出し」でも良いからデータ分析人材が欲しいという企業が増えているように感じられるからです。 その一方で、かつては主にwebマーケティング業界

「Harvard Business Review」2012年10月号で"Data Scientist:The Sexiest Job of the 21st Century⁠”（データサイエンティストは21世紀で最もセクシーな職業）として取り上げられ，「⁠データサイエンティスト」が新しい職種として注目を浴びてからもうすぐ4年が経とうとしています。 「セクシー」として取り上げられたデータサイエンティストは，多くの人が就きたい職業として注目を浴びることになりました。ビッグデータというキーワードもそれ以前から流行していましたので，企業がデータ分析できる人材を探す時期ともマッチしていました。ふだんデータに関わることのあるエンジニアやマーケッターだけでなく，さまざまな人たちがデータサイエンティスト職を志望したのです。 しかし，実際の仕事は泥臭い作業が多く，プログラミング技術も必要です。これらは，すで

我らが業界の雄*1、てつろーさんが新たなweb連載記事を始められたようです。 このタイトルが、流石は業界経験の長いお方だけあって非常に鋭いところを突いているなと個人的には感じています。で、完全に奇遇ながら実は6月8日に旧知の友人の依頼でプレイベートな講演会に登壇してきたのですが、その時も「あれから日本のデータサイエンティスト（そして機械学習エンジニア）ってどうなったんだっけ」という話題をしてきたということもあり。。。ということで、久しぶりに与太話でもしてみようかと思います。 首都圏のデータサイエンティストと機械学習エンジニアは合わせて大体500人ぐらいいる（私見） 大多数の「自称」データサイエンティストはこの4年間のブームの栄枯盛衰の中で現れては消えるというのを散々繰り返してきたように思いますが（笑）、現実に日々の業務として明確にデータ分析を、しかも統計学や機械学習のスキルを駆使して行って

(Photo credit: https://pixabay.com/en/books-door-entrance-italy-colors-1655783/) この記事は一昨年のこの書籍紹介記事のアップデート版です。 相変わらず毎月のように新刊書が出続けるデータ分析業界ですが、良い本が増え続けてきたせいでついに初級者向けは6冊、中級者向けは何と15冊にまで膨れ上がってしまいました（汗）。ともあれ、自分のところにアフィリエイトの類は一銭も入らないにもかかわらず*1懲りずに書籍紹介をやろうと思います。 あ、最初に断っておきますが僕の知識レベルは極めて適当なので、極めていい加減なことを書いている可能性があります。また最初に読んでから時間が経っていて記憶があやふやなせいで、内容に関する記述が不正確な書評が混じっている可能性もあります。誤っているところやおかしいところがあったらバンバン突っ込んでく

ディープラーニングおじさん 私の会社には「ディープラーニングおじさん」がいます。「います」といっても私が勝手に一人で心の中でそう呼んでいるだけですが…ともかく、今日はその「ディープラーニングおじさん」が、機械学習経験ゼロから、最終的に会社を動かすまでの華麗なる軌跡を紹介したいと思います。 なお、会社に関する情報は、私の都合である程度、虚実入り混じった情報になることご了承ください。今回の話で伝えたいことに関しては、影響は無い範囲とは思っています。 ディープラーニングおじさんの華麗なる軌跡 自分のツイートを「ディープラーニングおじさん」で検索したら、最初に引っかかったのが2016年10月ころでした。もう1年半くらい前ですね。 自分も個人で少しだけディープラーニング試したりしてるので、ディープラーニングおじさんに少しだけ自分の知ってる情報を提供してみたけど、おじさん何も聞かずに特攻しててワロタw

しばらく前にこんな記事が出ていたのをお見かけしました。 明らかにこれは僕が某所（笑）で適当に放言したことがきっかけで巻き起こった議論の一旦なのではないかと思うのですが、個人的にはこちらの@yohei_kikutaさんの仰る通りで大体良いのではないかと考えております。 なのですが、言い出しっぺらしき身としてはもうちょっと何か具体的な話を書いた方が良いのかな？とも思いましたので、常々公言しているように数学が大の苦手な身ながらどの分野のどのレベルの数学が機械学習をやっていく上で必要なのかという点について戯言だらけの駄文を書いてみることにします。 深層学習 (機械学習プロフェッショナルシリーズ) 作者: 岡谷貴之出版社/メーカー: 講談社発売日: 2015/04/08メディア: 単行本（ソフトカバー）この商品を含むブログ (13件) を見るちなみに、以下に並べる戯言は深層学習青本から得られた知識を

TL; DR 強化学習コンペなのにルールベースのほうが強かった 強化学習コンペなのに、コンピュータが全然強化学習してくれない 優勝者のポエムが読みにくいしうざい はじめに みなさまはKaggleを知っていますでしょうか。 世の中にはKaggleというAIのコンペティションを開いているサイトがあります。 Kaggleでは画像認識のコンペティションなどが定期的に行われていますが、最近、これの変わり種として、とあるゲームのAIを作るコンペティションが開かれました。ゲームAIは近年目覚ましい成長を遂げています。例えば、囲碁の世界では人間に勝つまでになりました。そのゲームAIの中核となる技術が強化学習です。強化学習とはエージェントと呼ばれる存在が試行錯誤しながら行動を自律的に学んでいく技術になります。当然、このゲームAIのコンペティションでも強化学習を使うことが期待されていたのでしょう。チュートリア

Jupyterの環境構築が不要、オンラインで実行が可能な機械学習入門チュートリアルを公開中！まずは初歩的なアルゴリズムを学んで、機械学習の世界へ飛び込んでみませんか？ スクラッチで最小二乗法と最急降下法をPythonでコーディング（線形回帰） ロジスティック回帰の概要や数学的理解と実践に役立つ知識（ロジスティック回帰） Jupyter Labとは？Jupyterプロジェクトについて まずはJupyterプロジェクトとは？について。Jupyter（ジュピターと読みます）は、オープンソースの対話型コンピューティング（Interactive Computing）の開発を行うプロジェクトです。 このJupyterプロジェクトが開発したのがJupyter Notebookです。Jupyter Notebookはブラウザ上で使えるコーディング環境で、同僚やチームとのコードの共有をしたり、インタラクティ

機械学習エンジニア界隈で話題沸騰となっているGoogle Colaboratory（グーグル・コラボレイトリー）。本記事では概要とGoogle Colabの知っておくべき基本的な使い方をまとめました！ すでに機械学習をやっている方や、これから機械学習を学んでみたいと考えている方で、下記のような事を感じたことはありませんか？ 「訓練やデータ処理をやるのにローカルPCだと処理に時間がかかりすぎる」 「機械学習用にクラウド環境を立てたけど…思ったより費用が高い」 「機械学習は色々とライブラリが多くて環境構築がしんどい」 もし一つでも当てはまるものがあれば、Google Colabがそんな悩みを解決してくれます！機械学習の開発環境の新基準となる可能性も高いGoogle Colab、概要や基本的な使い方をみていきましょう。 Google Colaboratoryとは？ Google Colab（略式

機械学習の基礎用語や初歩的な手法、数学的な理解を深めませんか？環境構築が不要、オンラインで実行が可能な機械学習入門チュートリアルを公開中！機械学習の世界へ飛び込んでみませんか？ スクラッチで最小二乗法と最急降下法をPythonでコーディング（線形回帰） ロジスティック回帰の概要や数学的理解と実践に役立つ知識（ロジスティック回帰） まず呼び方ですが、Kaggleと書いて「カグル」と読みます。日本でも最近は定着してきましたが、Kaggleに参加している方を「カグラー（Kaggler）」とも呼びます。 Kaggleですが、本サイトへ行くと一番上に書かれていますが「The Home of Data Science & Machine Learning」（データサイエンスと機械学習の家）と題されている通り、世界中の機械学習・データサイエンスに携わっている約40万人の方が集まるコミニティーです。 Ka

*; delay: 150" class="uk-width-1-1@s" data-v-48103a6f> AI画伯 AI画伯があなたの西洋風肖像画を作成します。 今すぐ試す

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 最近バーチャルユーチュ－バーが人気ですよね。自分もこの流れに乗って何か作りたいと思い、開発をしました。 モーションキャプチャー等を使って見た目を変えるのは かなり普及しているっぽいので、自分は声を変えられるようにしようと開発しました。 やったこと キズナアイさんとねこますさんの、それぞれの声を入れ替えられるようにしました。これによって、ねこますさんのしゃべった内容を、キズナアイさんの声でしゃべらせることができます。(逆も) 機械学習手法の一つであるCycleGANを用いて、変換するためのネットワークを学習しました。 パラレルデータ(話者

ワールドワイドウェブの始まりから約 30 年の間に 20 億を超えるウェブサイトが作成されました。現在、毎分数十万のツイート、数万のウェブページ、数百時間もの動画がウェブに投稿されており、これらすべてを把握することはほぼ不可能でしょう。この情報の洪水の中において、新しいそして重要な「声」が常に浮上し、さらに多様なコンテンツや優れたジャーナリズムが生まれています。このような環境においてニュースを追いかけやすく、そして、より分かりやすくすることを目指してニュース製品の改善を行いました。 本日より、新しい Google ニュースの提供を開始します。新しい Google ニュースは最先端の AI の力で、世界中のジャーナリストによるニュースや情報 -- これこそまさに人の知性ですね -- にアクセスしやすくします。 機械学習でリアルタイムにニュースを整理 15 年前にオリジナルの Google ニ