はじめに 開発部の ikasat です。 皆さんは git, ssh, rsync のような外部コマンドを呼び出すスクリプトを書きたくなったことはありますか？ 個人的にこの類のスクリプトは最初はシェルスクリプトとして書くのですが、改修を重ねるうちに肥大化して処理も複雑になり、 後から Python のような汎用プログラミング言語で書き直すことがよくあります。 外部コマンド呼び出しを書き直す際に、Git 操作のために pygit2、 SSH 接続のために paramiko のようなライブラリをわざわざ使うのは大がかりだったり、 rsync に相当するようなこなれたライブラリが存在しなかったりする場合があります。 そのような時は標準ライブラリの subprocess モジュールを利用し、Python から外部コマンドを呼び出すことになるでしょう。 しかしながら、Python のチュートリアルペ

京都大学学術情報リポジトリKURENAIでは、京都大学で日々創造される研究・教育成果をWebで公開しています。世界的に卓越した知的成果を社会へ還元することを目的として、2006年から図書館機構が運営している事業です。

年末年始の新幹線はすぐに予約で一杯になってしまう。最近はエクスプレス予約のWebサイトを使えばスマホやPCから即時予約できるようになったが、年末年始の「都合が変わって1週間前など新幹線を予約したい」みたいな状況では難しい。ぼくはエクスプレス予約の割引額が増えるJ-WESTカードを持っているのだけど、特にキャンセル待ちなどに優遇があるわけではないので、CYBER STATIONという空席確認Webサイトでじっといい時間の空席が現れるのを待つしかない。 というわけでPythonで解決しよう。 この記事は ふしみ Advent Calendar の10日目の記事です。 CYBER STATIONは (見た目的にも) パースがとても簡単そうなので、素直なスクレイピングが通用しそうだ。予約サイト (エクスプレス予約) は自動操作が難しそうだが、Pythonに空席状況を監視してもらって、空席が見つかっ

Hacker NewsとRedditでバズっていたPythonのデバッグツールが便利だったので紹介です！ PySnooperというライブラリです。 Hacker News - PySnooper: Never use print for debugging again Reddit - PySnooper: Never use print for debugging again ※追記 想像以上にたくさんの方に読んでいただき、printデバッグなど他のデバッグ方法との比較について追記として文末に補足しました。釣りタイトルですみませんでした…🙇 何ができるライブラリか 一言で言うと「デバッグがめちゃくちゃ簡単にできるライブラリ」です。 github.com 例を見たほうがわかりやすいと思うので見てみましょう。 インストールは pip で行えます。 pip install pysnooper

matplotlibはPythonでグラフを描画するときなどに使われる標準的なライブラリです。 画像ファイルを作るばかりでなく、簡単なアニメーションやインタラクティブなグラフを作ることも可能です。 実際の例はmatplotlibサイトのギャラリーで見ることができます。 matplotlib/gallery matplotlibは本家のサイトやどこかのブログにあるチュートリアルや例を描画してみるぶんには簡単なのですが、 実際に自分でプロットするとなると基礎的な概念を理解していないと使いにくいライブラリでもあります。 また、基礎的な概念を理解していないとドキュメントを参照する際にもどこを見て、どう実用すればいいのかわかりません。 そこで、この記事ではそのあたりのmatplotlibの基礎を解説していきます。 なお、Python自体の知識はある程度仮定していますが、matplotlib自体の実装

【DL輪読会】Visual Classification via Description from Large Language Models (ICLR...

機械学習のC++ Pythonのライブラリの１つdlibに気づいた。 PythonにはScikit-learnという強力なライブラリがあるが、 選択肢の１つとして考えておこう。 機械学習のライブラリ dlibのアルゴリズムの選択ガイド 機械学習のライブラリ dlibのアルゴリズムの選択ガイドが 図にしてありました。 こちらはscikit-learnのガイド ![Choosing the right estimator] (http://scikit-learn.org/stable/_static/ml_map.png) dlibの記事 SlideShare 20160417dlibによる顔器官検出 YouTube [dlib vs OpenCV face detection] (https://www.youtube.com/watch?v=LsK0hzcEyHI) YouTube Fa

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 再帰型ニューラルネットワーク(RNN)は自然言語処理の分野で高い成果をあげ、現在最も注目されているアルゴリズムの一つです。しかしながら、その人気が先走りして実際にRNNがどのように動くのか、構築するのかを解説する書籍は限られているように思います。この投稿はその部分にフォーカスを当てて友人のDenny（WildMLブログの著者）と一緒に書きました。 さてRNNベースの言語モデルを解説したいと思います。言語モデルの用途は2つあります。1つ目は文章が実際にどのくらいの確率で現れるのかのスコアリングをすること。このスコアは文法的に、セマンティク

最新版はこちらへ https://www.slideshare.net/zembutsu/say-hello-to-your-presentation ーーー 『IT系エンジニアのためのプレゼンテーション入門』 インフラエンジニアのためのプレゼン技術研究会　第0回 2015年2月21日(土) 14:00 ～ 17:00 さくらインターネット セミナールーム（東京都新宿区） #infrapre http://connpass.com/event/11739/

2015年8月末に、クローラー／スクレイピング本が2冊同時に発売です。Python版メインのものとJavaScript版メインのものです。なかなか市場のニーズ突いてきていますね。 実践 Webスクレイピング&クローリング-オープンデータ時代の収集・整形テクニック 作者: nezuq,東京スクラッパー(協力)出版社/メーカー: マイナビ発売日: 2015/08/28メディア: 単行本（ソフトカバー）この商品を含むブログを見るJS+Node.jsによるWebクローラー/ネットエージェント開発テクニック 作者: クジラ飛行机出版社/メーカー: ソシム発売日: 2015/08/31メディア: 単行本この商品を含むブログを見る 実践 Webスクレイピング&クローリング-オープンデータ時代の収集・整形テクニック 実践 Webスクレイピング&クローリング-オープンデータ時代の収集・整形テクニックは、Py

久しぶりのブログ更新となります。 今回は、Dropout + ReLU のコード（python）を紹介します。 最近の Deep Learning 界隈は、もっぱらDropoutと新しい活性化関数の組み合わせが多いみたいですね。 しばらく触れないでいる内に、以前は最前線だった Deep Belief Nets や Stacked Denoising Autoencoders がすっかり下火になってしまったようで…。 Dropout + ReLU や Dropout + Maxout などが流行っているみたいですが、これは結局、いかに疎な（sparseな）ニューラルネットワークを構築できるかが学習の鍵になっている、ということなのでしょう。シンプルが一番というべきなのでしょうか…。 ともあれ、Dropoutは実装が難しくないのは嬉しい限りです。 ReLU (Rectified Linear U

Pythonの有名なWebスクレイピングフレームワークのScrapyがバージョン1.0になりました。*1 0.24からの主要な変更点は下記のとおりです。 SpiderでItemの代わりにdictを返せるようになった Spiderごとにsettingsを設定できるようになった Twistedのloggingの代わりにPythonのloggingを使うようになった CrawlerのコアAPIがリファクタリングされた いくつかのモジュール配置場所が変更された 他にも数多くの変更点がリリースノートに記載されています。 Scrapy 1.0の感想 大きな機能の追加よりも、APIの整理と安定性の向上がメインのようです。これまではバージョンを重ねるごとに便利になっていくものの、あまりAPIが安定していない印象でしたが、APIを安定させた区切りのリリースと言えるでしょう。1.0というメジャーバージョンに到

protobuf - Google Code Google が発表した素敵な素敵な Protocol Buffers 。 個人的にはかなり良い印象、以下チュートリアル終了までの流れ。 インストール編 $ cd ~/src $ curl -O http://protobuf.googlecode.com/files/protobuf-2.0.0beta.tar.bz2 $ tar xvfj protobuf-2.0.0beta.tar.bz2 $ cd protobuf-2.0.0beta $ ./configure --prefix=/opt/google $ make $ sudo make install $ cd python $ export PATH=/opt/google/bin:$PATH $ sudo /opt/local/bin/python setup.py insta

元ネタ：[Python-ml-jp 4322] Pythonistに聞く10個の質問　http://www.python.jp/pipermail/python-ml-jp/2008-April/004319.html ライブドアアンケートって簡単にアンケート作れて面白いなぁ。このグラフのUIもいい！というわけで作ってみました Pythonのコーディングスタイル：インデントはどうしていますか？ http://lislog.livedoor.com/r/7034 Pythonのコーディングスタイル(空白編)：「if(x+y)*2==4:」に空白を入れるならどこ？ http://lislog.livedoor.com/r/7035 Pythonのコーディングスタイル(空白編2)：qsort([1,2,3],cmp,reversed=True)に空白を入れるならどれ？ http://lislog

.emacs https://gist.github.com/niitsuma/85b8472bed9890eb89fa 以下は古い情報を念のために残しておく emacs python mode 導入方法 http://tnt.math.metro-u.ac.jp/~tetsushi/nzmath/emacs-python-mode.html refcard http://python.about.com/b/2007/09/24/emacs-tips-for-python-programmers.htm python.el vs python-mode.el python.elの方がいいらしい http://mail.python.org/pipermail/python-3000/2007-October/010778.html さらにそれぞれの設定方法　http://gunnarwr

ちょっと古いけど。 デブサミ会場で、雑談していると「PythonはDISらないんですか」と柴田さんから。なんか自虐的じゃない？ とは言うものの、Pythonは基本的に良い言語で、 不満な点はかなり微妙だ。一般人にはどーでもいいような点だと思う。 一応リストを。 式と文の区別が明確。 インデントベースだとeRubyのようなテンプレートが難しい ブロックを含む式を持てない。Haskellみたいにブレースを使えば式にできるといいのに reduceがなくなる generator難しい。yieldを書くと戻り値が変化するってのはどうよ list comprehensionが難しい。英語人には人気みたいだけど Matz日記：PythonをDisる。 「Python は基本的によい言語」には同意。Rubyist でも、使ってもないのに Python を DIS る人がいるのは残念。インデントベースが嫌い