京都大学学術情報リポジトリKURENAIでは、京都大学で日々創造される研究・教育成果をWebで公開しています。世界的に卓越した知的成果を社会へ還元することを目的として、2006年から図書館機構が運営している事業です。

0. はじめに sublime使いだった僕が（使い込んではいなかったけど）社内のPython開発環境を統一するためにVS Codeの色々を調べたので，そのまとめです． 以下ができるような開発環境の構築を目的としています． 複数人がローカルで開発する時に，環境を揃えたい． ローカルからリモートサーバーにアクセスして開発したい． プロジェクトごとに依存関係を整理したい． コーディングスタイルや型などのチェックを入れたい． Pythonの環境周りはPipenvで管理し，ローカルでdockerを立ち上げてその中で開発するためのテンプレです． 1. install Setting up Visual Studio Code 2. Extension 2.1. 必須 以下は必須． python Remote Development Remote SSH git lens 2.2. オプショナル その他

今回は matplotlib を使って動的にグラフを生成する方法について。 ここでいう動的というのは、データを逐次的に作って、それを随時グラフに反映していくという意味を指す。 例えば機械学習のモデルを学習させるときに、その過程 (損失の減り方とか) を眺める用途で便利だと思う。 使った環境は次の通り。 $ sw_vers ProductName: Mac OS X ProductVersion: 10.13.5 BuildVersion: 17F77 $ python -V Python 3.6.5 $ pip list --format=columns | egrep -i "(matplotlib|pillow)" matplotlib 2.2.2 Pillow 5.2.0 もくじ もくじ 下準備 静的にグラフを生成する 動的にグラフを生成する グラフを延々と描画し続ける Jupyte

更新日: 2018年10月23日公開日: 2018年10月12日【Python入門】Matplotlibを使ってみよう 人工知能や機械学習の参考書によく登場してくる Matplotlib。 中にはコピペでとりあえず使っただけ、という方もいらっしゃるのでは。 今回はそんな「Matplotlib」について少し詳しく迫ってみます。 エクセルや表計算、スクレイピングなどに興味がある方も「Matplotlib」必見ですよ。 【Python入門】Matplotlibを使ってみようMatplotlibとは 画像引用：Matplotlib Matplotlibは、Pythonの描画ライブラリで、線グラフや棒グラフ、3Dグラフなどを描くことを手伝ってくれます。 主な用途としては、数値解析や人工知能開発、それから医療の画像解析（CTスキャン画像）、ロケットのシミュレーション、津波のシミュレーションなど幅広い分

はじめに csvファイルを読み込みたいときは多々あると思います。 pythonでのcsvファイルの読み込み方。また、読み込んだデータの扱い方についてまとめていきます。 注意 この記事の中で読み込むCSVファイルは、以下のファイルとします。 ファイル名「TEST_STOCK.csv」。 コード,銘柄名,市場,始値,高値,安値,終値,出来高,売買代金 8111-T,Gウイン,東証1部,249.00,251.00,248.00,249.00,104000,25907000 8112-T,東スタイル,東証1部,1299.00,1319.00,1292.00,1312.00,132000,172590000 8113-T,ユニチャーム,東証1部,7100.00,7150.00,7020.00,7040.00,163500,1159842000 8114-T,デサント,東証1部,604.00,611.

Python標準のリスト型listではリストのリストによって2次元配列を表現できる。 この2次元配列の行と列を入れ替える（転置、transposeする）方法を説明する。 NumPyやpandasを使ったほうが楽だが、転置するためだけにNumPyやpandasをimportしたくない場合（その後NumPyやpandasで処理しない場合）はzip()関数を使った方法で転置できる。 元の二次元配列を以下のように定義する。

画像処理で遊びたいな、と思い立ったので、 以前PythonとOpenCVで作成した画像線画化スクリプトを Node.jsで作成しなおしてみました。 blog.honjala.net OpenCVはPythonと使うのがやはり一番使いやすいのですが、 Javascript用APIも提供されているので、 Webページ上のJavascriptやNode.jsからでも利用することができます。 docs.opencv.org しかし試してみるとNode.jsから生でOpenCV.jsを使うのはcanvasを利用することを 前提にしていたりしてなかなか手強く、うまくいかなかったので、 「opencv4nodejs」というライブラリを使うことにしました。 www.npmjs.com こちらはOpenCVの関数をNode.jsからいい感じで使えるようにしてくれていて、 Pythonで書いた処理をNode.

EF15形は高性能な電気機関車であったが、引き出し性能が蒸気機関車に劣ると誤解されていた。 誤った運転方法により本来の性能を引き出せていなかったのである。 （spaceaero2 [CC BY 3.0], ウィキメディア・コモンズより） こんにちは、エムスリー・エンジニアリングG・基盤開発チーム小本です。 WEBサイトは RailsやSpringなどの「本体部分」だけでは完結しません。レポート作成・データ更新などの細かい処理も必要です。 過去にはこうした用途にはBashがよく使われました。しかし、Bashは落とし穴が多かったり、クラスなどの抽象化機能がなかったりして、規模が大きくなると辛くなります。 そこで、Bashの代替候補に挙がるのがPythonです。エムスリーでもかつてはBashを使っていましたが、現在は新規案件にはPythonを推奨しています。 しかし、実際にPythonで書き直そ

はじめに Python + Selenium + Chrome で、要素の取得、クリックなどの UI系の操作、待機、ページ全体のスクリーンショットなど、一通り試してみます。 PhantomJS はもう更新されないということなので、ブラウザは Chrome にします。 この記事には、Selenium の API に関する情報と Chrome に特化した情報がありますが、前者の Selenium の使い方に関する情報は Firefox など別のブラウザでも使えます。 注意事項 ウェブの自動テストやスクレイピングで使われる技術です。特にスクレイピングでは、著作権の問題や、サーバー側の負荷、各種規約（会員としてログインする場合の会員規約等）やマナーなどを考慮する必要があります。 たとえば、Twitter など利用規約で明示的にスクレイピングが禁止されていることや、robot.txt などでクローリ

Pythonでパワポの報告書を生成する この記事の対象者は以下のような人である。 パワーポイントで説明資料を作って偉い人に報告する人 何を思ったか偉い人（経営層）がマイクロマネジメントに目覚めて毎日報告しろと言われている人 ディープラーニングの学習進捗を毎日報告しなければいけない人 あらまし だいたい上記で察すると思うが、偉い人がマネジメントの病に憑りつかれ、 毎日データを報告しなければならなくなった人を想定している。 しかも、紙媒体で報告するのにパワーポイントで作成しなければならないという縛りつきである。 余談であるが、こういった状況はペーパーレスブームの際にパワーポイントで説明する文化が出来上がったものの、機材や場所の都合でプロジェクターでの説明が減り、パワーポイントの資料作りだけが残ったものと思われる。 ※　なお、上記のような状況はフィクションであり、実在の企業や団体とは関係ないと信

第4次産業革命とも言われる人工知能ブームは、文字通り急激な変化を起こしました。企業は必死で戦略を見直しているものの、そもそも見直すだけの知識を持つ人材が社内におらず袋小路です。見直せる人材がいないので、必要な人材像を定義出来ず、とりあえず「AI人材」とビジネス界隈でよく利用されています。 とにかく今、圧倒的な人材不足です。ではこの「AI人材」にどしたらなれるのでしょうか。 関連記事：人工知能(AI)ブームに乗りたい人に切符を提供してみる 一方、AI人材になるためには、機械学習の専門知識やプログラミングなどとても難しいように思えます。特に、プログラミングの経験がない方は、非常にハードルが高いと感じているのではないでしょうか。 私も元々プログラミングが出来ませんでした。数年前スマホアプリ開発が流行った際、自分でアプリを作ってる人がとても羨ましかったです。何度か勉強しようと本を買いましたが、ゼロ

地理空間情報解析がしたい！ でもデータがない！ そんなあなたに朗報です！ なんとwikipediaは地理情報をタダで公開しています！ ただし、地理情報の準備が若干面倒臭かったのでやり方をまとめておきます。 最初に Wikipediaデータダウンロードのページで詳細を見られます。書いてある内容をそのままやってみると所々ハマりどころがあります。 注意点 Wikipediaの記事情報はXML形式かsqlで配布されています。XMLは使いづらいのであまり好きではありません。XMLをsqlに変換するツールも配布されていますが、手間がかかることがわかったため、今回はその前段階としてsqlで配布されているものを使います。Xmlで配布されているものは10GB単位なので、下準備なく用意しても持て余します。 license CC-BY-SA 3.0です。詳細はクリエイティブ・コモンズのページを読んでください。注

- はじめに - 最近はWebスクレイピングにお熱である。 趣味の機械学習のデータセット集めに利用したり、自身のカードの情報や各アカウントの支払い状況をスクレイピングしてスプレッドシートで管理したりしている。 最近この手の記事は多くあるものの「～してみた」から抜けた記事が見当たらないので、大規模に処理する場合も含めた大きめの記事として知見をまとめておく。 追記 2018/03/05： 大きな内容なのでここに追記します。 github.com phantomJSについての記載が記事内でありますが、phantomJSのメンテナが止めたニュースが記憶に新しいですが、上記issueにて正式にこれ以上バージョンアップされないとの通達。 記事内でも推奨していますがheadless Chrome等を使う方が良さそうです。 - アジェンダ - 主に以下のような話をします。 - はじめに - - アジェンダ

Requestsとは PyhtonのHTTPライブラリ． 人類にとって読みやすくコーディングできるらしい． qiita.com インストール pip3 install requests 郵便番号から住所を取得するAPI 今回は郵便番号データ配信サービスzipcloudのAPIを使用する． zipcloudの使い方 ベースURL : http://zipcloud.ibsnet.co.jp/api/search このURLにパラメータを加えてリクエストを送る． zipcloudを使ってみる getでhttp://zipcloud.ibsnet.co.jp/api/search?zipcode=1540013で郵便番号を与えるとjsonが返ってくる． { "message": null, "results": [ { "address1": "東京都", "address2": "世田谷区",

2017/02/03 JaSST’17 Tokyo

こんにちは、@yoheiMuneです。 ちょっとしたサービスを作る際に為替レートの取得が必要だったので、調べてみたらYQLという仕組みでとれることがわかったので、ブログに書きたいと思います。 目次 YQLとは YQLとはYahoo Query Languageの略で、SQLライクな言語でWebやYahoo上のデータを取得することができる仕組みです。 The YQL (Yahoo! Query Language) platform enables you to query, filter, and combine data across the web through a single interface. It exposes a SQL-like syntax that is both familiar to developers and expressive enough for ge

今回やること Pythonを使ってYahoo!ファイナンスの株価時系列データを読み込み、ロウソク足と出来高のチャートをひとつの図に描く方法を紹介します。 データの読み込みにpandas、描画にはmatplotlibを使用します。 目次 今回やること 目次 使用するデータと環境 下準備 ローソク足の描画 出来高の描画 関連記事 使用するデータと環境 今回はPython3.5, matplotlibは1.5.3を使用します。 特に、今回使用するfinance apiは、バージョン1.4からdeprecatedとなっており、将来的にmpl_toolkits等のほかの場所に移動される予定ですので、matplotlibのバージョンにはお気を付けください。 また、使用するデータはYahoo!ファイナンスから2016年上半期の日経平均のデータを落としてきて使用します。こちらのページのDownload D

はじめに Udacityというネット上のビデオを視聴する形で受講できる講義を提供しているサイトがあります。 Learn the Latest Tech Skills; Advance Your Career | Udacity サイトや講義は英語なのですが、その中で Machine Learning for Tradingという講義を見つけました。 この講義は主に3つのパートに分かれています 金融データをPythonで操作する コンピュータを使った投資 取引に使う機械学習アルゴリズム 1つ目のパートを視聴したので、Pythonの基本的な知識の部分で知らなかった点を、実際のデータを操作する中で紹介しようと思います。 2つ目と3つ目はまた後日にでも。。 目次 はじめに 目次 今回使用するデータとJupyter Notebook データの読み込み 移動平均の計算 pandasのrollingを使

趣味でアルゴリズム取引のシステムを開発・運用してみたことで得られた知見について、社内のテーマ自由な勉強会で発表しました。