※サンプル・コード掲載 １．AIに文章を作らせる方法概要架空の名前から架空の人物の歴史概要を作成させてみました。 やり方としては、wikipediaの人物の概要の部分を抜き出してRNNにトレーニングさせます。 そのトレーニングさせたモデルに対して名前を入力すると、その人物の概要を出力してくれるようにします。 RNNとは、Recurrent Neural Networksの略で、時系列の情報を学習させるためのニューラルネットワークのモデルのことです。 文章を生成させるようなモデルの場合、多層パーセプトロンのようなモデルだと出力の長さが一定になってしまい、うまく作ることができません。 そこでRNNを使い、入力が単語（文字）、出力が次の単語（文字）として学習させると、そのモデルに次々と出力された単語を入力させることによって文章が生成出来るようになります。 そして、RNNは内部の重みを入力によって

Photo by Rexness これからプログラミングを始めようと思っている方、Pythonから始めませんか？ プログラミングを勉強しようとしたとき、まず迷うのが「どの開発言語から勉強するか」。もちろん、どの言語から始めてもいいのですが、特にこだわりがないのであれば、「学びやすい言語」「将来にわたって使える言語」を選ぶほうがいいでしょう。その基準からおすすめしたいのがPythonです。 paizaのユーザーアンケート（※すぐ下のリンク先参照）で、見事人気プログラミング言語1位の座に輝いたPython。特に学生の支持が高く、若い世代が積極的に使用しています。最近注目されているAIや機械学習などでも使われることが多い言語で、当面は高い需要が続くと見込まれています。 paiza.hatenablog.com Pythonは1991年にオランダ人のグイド・ヴァンロッサム氏によって開発された汎用の

こんにちは、ほけきよです。 ここ数回に分けて書いた『面倒がすぎる内容をpythonにさせよう』シリーズの集大成。 ブログ最適化のために必要なものを『全て』『一気に』抜き出すプログラム、作りました！ この記事を読めば、下記の情報がゲットできます ※ 現在ははてなブログのみ対応となっています。WordPress用にも作成中なので、少々お待ちを。 *1 ・記事とURLとブックマークの情報 ・記事内画像を全て抜きとったもの ・自サイトの内部リンクがどうなっているかを可視化したもの ・リンク切れリスト ・はてなブックマークがどのような伸び方でついたかを可視化したもの 使い方(情報技術に明るい人) 使い方(一般向け) 環境構築 実行するコード コマンド一発！実行する 中身がどうなっているか 注意 出力結果 pythonを勉強したい方に まとめ 使い方(情報技術に明るい人) 情報技術に明るい人と、そうで

この記事は2年前の以下の記事のアップデートです。 前回はとりあえずデータサイエンティストというかデータ分析職一般としてのスキル要件として、「みどりぼん程度の統計学の知識」「はじパタ程度の機械学習の知識」「RかPythonでコードが組める」「SQLが書ける」という4点を挙げたのでした。 で、2年経ったらいよいよ統計分析メインのデータサイエンティスト（本物：及びその他の統計分析職）vs. 機械学習システム実装メインの機械学習エンジニアというキャリアの分岐が如実になってきた上に、各方面で技術革新・普及が進んで来たので、上記の過去記事のスキル要件のままでは対応できない状況になってきたように見受けられます。 そこで、今回の記事では「データサイエンティスト」*1「機械学習エンジニア」のそれぞれについて、現段階で僕が個人的に考える「最低限のスキル要件」をさっくり書いてみようかと思います。最初にそれらを書

- はじめに - 最近はWebスクレイピングにお熱である。 趣味の機械学習のデータセット集めに利用したり、自身のカードの情報や各アカウントの支払い状況をスクレイピングしてスプレッドシートで管理したりしている。 最近この手の記事は多くあるものの「～してみた」から抜けた記事が見当たらないので、大規模に処理する場合も含めた大きめの記事として知見をまとめておく。 追記 2018/03/05： 大きな内容なのでここに追記します。 github.com phantomJSについての記載が記事内でありますが、phantomJSのメンテナが止めたニュースが記憶に新しいですが、上記issueにて正式にこれ以上バージョンアップされないとの通達。 記事内でも推奨していますがheadless Chrome等を使う方が良さそうです。 - アジェンダ - 主に以下のような話をします。 - はじめに - - アジェンダ

文：Daniel Sim　分析：Lee Shangqian、Daniel Sim、Clarence Ng ここ数ヶ月、シンガポールのMRT環状線では列車が何度も止まるものの、その原因が分からないため、通勤客の大きな混乱や心配の種となっていました。 私も多くの同僚と同じように環状線を使ってワンノースのオフィスに通っています。そのため、11月5日に列車が止まる原因を調査する依頼がチームに来た時は、ためらうことなく業務に携わることを志願しました。 鉄道運営会社SMRTと陸上交通庁（LTA）による事前調査から、いくつかの電車の信号を消失させる信号の干渉があり、それがインシデントを引き起こすことが既に分かっていました。信号が消失すると列車の安全機能である緊急ブレーキが作動するため、不規則に電車が止まる原因となります。 しかし8月に初めて発生した今回のインシデントは、不規則に起こっているように見えるた

【2020/1/9更新】2020年版もあります, こちらもよろしくおねがいします！ 【2018/12/24追記】最新版を公開しました！「Python本まとめ・2019年版 - Webとデータ分析を初心者が仕事にするまで - Lean Baseball」 ※2017/12/24 最新版をこちらに上げました、この内容は古いのでこちらを見ていただけると幸いです🙇‍♂️ Pythonの学び方と,読むべき本を体系化しました2018〜初心者から上級者まで こんにちは.野球(とグルメ)の人です. 会社と仕事はメッチャ楽しいのですが,今日はそれと関係なくPythonの話題を久々に.*1 昨年から,「AI（えーあい）」だの「でぃーぷらーにんぐ」だの「機械学習」といったワードとともにPythonを覚えようとしている方が多いらしく, 何から学ぶべきか 何の本がオススメか 簡単に覚えて僕もいっちょ前に「えーあい

1:名無し募集中。。。＠＼(^o^)／ 2016/08/02(火) 22:51:26.96 0.net 1 JavaScript 2 Java 3 PHP 4 Python 5 C# 5 C++ 5 Ruby 8 CSS 9 C 10 Objective-C 11 Shell 12 R 13 Perl 14 Scala 15 Go 16 Haskell 17 Swift 18 Matlab 19 Visual Basic 20 Clojure 20 Groovy http://redmonk.com/sogrady/2016/07/20/language-rankings-6-16/

Python のパッケージ同士が、どのように依存しているかを調べるのは意外と面倒くさい。 そんなときは今回紹介する pipdeptree を使うと楽ができそう。 使った環境は次の通り。 $ sw_vers ProductName: Mac OS X ProductVersion: 10.11.5 BuildVersion: 15F34 $ python --version Python 3.5.1 下準備 まずは pip を使って pipdeptree をインストールしておく。 $ pip install pipdeptree 使ってみる インストールすると pipdeptree コマンドが使えるようになる。 このコマンドを使うと、今の Python 実行環境にインストールされているパッケージの依存関係が得られる。 $ pipdeptree wheel==0.29.0 今回は virtua

この記事の監修者 レバテックキャリア編集部 レバテックキャリアは、IT/Web業界のエンジニア・クリエイター向けに特化した転職エージェントです。当メディアでは、エンジニア・クリエイターの転職に役立つノウハウから、日々のスキルアップや業務に活かせる情報まで、幅広いコンテンツを発信しています。 【ご自身のデータ分析スキルの価値を知りたい方はご相談ください】 ・市場価値を知りたい方の個別相談会 ・キャリアアップを目指す方の個別相談会 ・転職のタイミングや業界動向を知りたい方の相談会 10分でわかるPythonの開発環境 10分でわかるPythonの開発環境 from Hisao Soyama Pythonを書く前にやっておくべき開発環境の構築についてまとめたスライドです。 Pythonのパッケージ管理ツール「pip」のインストール、仮想環境を作成するモジュール「virtualenv」のインストー

Effective Python ―Pythonプログラムを改良する59項目posted with カエレバBrett Slatkin オライリージャパン 2016-01-23 Amazonで探す楽天市場で探すYahooショッピングで探す 目次 目次 はじめに Pythonのランタイムの種類 プライベート属性はアンダーバーを２つ先頭におく リストや文字列の空判定にlenなどは使わない mapやfilterよりもリスト内包表記を使う rangeよりはenumarateを使う オプションのキーワード引数は、位置ではなくキーワードで与えるとコードが読みやすい どんなクラスオブジェクトでも__dict__ですべてのフィールド辞書にアクセスできる Pythonコードのプロファイルを取るにはcProfileを使うと便利 参考資料 MyEnigma Supporters はじめに 以前、C++の名著Ef

pythonの環境構築について "python 環境構築"でググると20万件くらいヒットしますが、割と内容が古いです。 タイトルにはデータサイエンティストと書いてありますが、データサイエンティスト以外にもanacondaはおすすめです。 2.x or 3.x? 3.xは動かないライブラリが多いので2.x推奨 >　3.xで動かないライブラリがある、くらいまで来ました。 easy_installでpipを入れて、setuptoolsも入れて、でもwheelというのもあって... > 古いです。 virtualenv 必須 > そんなこともないです。 winでは64bitは不具合が多いので32bit推奨 > 古いです。 winでは非公式バイナリからダウンロードしてインストール > お世話になりましたが、最近は使っていません。 2016版 OS毎python環境構築法決定版 Windows: an

1位は、Appleがリリースした、iOS/Mac/Apple TV/Apple Watch向けのアプリケーション開発に必要な「Swift」。2014年6月に一般公開された同言語は、2015年の1年間で600％も需要が伸びた。iPhoneやiPadなど世界的なiOSデバイスのシェア拡大、「Swift」のオープンソース化もあり、今後も需要は伸びていくと見られる。 2位はWeb上のテキストを記述する「HTML」で267％、3位はC言語の拡張版「C++」が244％となり、ITにうとい層でも名前だけは知っているプログラミング言語が入った。 また、先日ビズリーチが発表して話題になった「プログラミング言語別 平均年収ランキング」で1位になった「Python」は、伸び率120％で10位という結果だった。第3次AI（人工知能）ブームでのニーズの高まりが期待されるが、需要はまだ爆発的状況ではないことがわかった

先日、AWS CLI 1.6.8にアップグレードしたらエラーで使えなくなったという記事を書きましたが、確認したい事があったので、システムデフォルトのPythonを使うのをやめて pyenv でローカル環境にインストールして使うことにしました。 pyenvとは Pythonのバージョン管理ツールです。複数のバージョンをインストールしてプロジェクト毎に使い分けたりする事のできる、Rubyでいう rbenv と同じようなものです。 https://github.com/yyuu/pyenv pyenvのインストール Homebrewを使ってインストールします。Homebrewのインストールはコチラ $ brew install pyenv ==> Downloading https://github.com/yyuu/pyenv/archive/v20141211.tar.gz ########

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

2ヶ月前のエントリーにはてブが入りまくった件で「そういえば続編書いてないや」と気が付き、エントリーしますた。 「誰でも」の定義および、このエントリーの対象読者について 「誰でも」というのは、 （エンジニアなら）誰でも という意味です。 より具体的には、 野球愛溢れるエンジニアにとって、Vagrant + Ansibleでのサーバー構築の練習&Pythonでのプログラミングという趣味実益を兼ねたいい感じのお勉強なるかつ、趣味の野球でhackが出来る二度美味しい内容です 野球に興味が無い方にとっては野球愛溢れるエンジニア同様サーバー構築&Pythonネタとしていい勉強になるかもです。ただ、他にももっといいエントリーがあると思います 非エンジニアの野球ファンの皆さまにとっては（小難しい的な意味で）ヘビーな内容となっていますので、覚悟してお読みください！ただ、プログラミングを覚えたい方にとっては凄