Python のイテレータとジェネレータという概念は意外と分かりにくい。 今回は、実は深い関わり合いを持った両者についてまとめてみることにする。 というのも、最終的にジェネレータを理解するにはイテレータへの理解が欠かせないためだ。 使った環境は次の通り。 $ sw_vers ProductName: Mac OS X ProductVersion: 10.12.6 BuildVersion: 16G1036 $ python --version Python 3.6.3 イテレータとは まず、そもそもイテレータとは何者だろうか。 それについて、いくつかの側面から考えてみることにしよう。 使い方から考える 最初は、使い方という側面からイテレータとは何かを考えてみよう。 このとき、答えは「要素を一つずつ取り出すことのできるオブジェクト」になる。 実際に、使い方からイテレータについて見ていこう。

Scrapy とは Scrapy とは Python でクローラーを実装するためのフレームワークです Python でクローラーというと BeautifulSoup や lxml などの HTML パーサーがよく使われていますが、 Scrapy はこれらのライブラリと違うレイヤーのもので、クローラーのアプリケーション全体を実装するためのフレームワークです 公式ドキュメントでも、BeautifulSoup と Scrapy を比較するのは、jinja2 と Django を比較しているようなものだと言ってます In other words, comparing BeautifulSoup (or lxml) to Scrapy is like comparing jinja2 to Django. TL;DR Scrapy はクローラーを実装・運用するために欲しい機能がいろいろ用意されている

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

English version available on dev.to はじめに matplotlibで作ったグラフの細かい調整は大変です。何をどういじったらいいのかを調べるのにアホみたいに時間がかかることもあります1。「何を」の部分の名前さえわからないこともあります。解決の糸口を掴んだ後も希望通りの見た目を実現するまでの最後のアレンジに苦労することが多いです2。これらの問題は matplotlibのグラフがどういう要素で構成されていて、それらに対してどういうことができるかを知る ことでいくらか改善されます。私はひたすらStack Overflowの回答を読むことでいろんなつまづきを時間をかけて乗り越えてきましたが、最近になってようやく公式チュートリアルにこの苦労を回避できたはずのヒントが書いてあることに気づきました。初期にざっと目を通したのですが「なるほど、よくわからん」と判断して読み込

ニューラルネットワークライブラリTensorFlow／Kerasで実践するディープラーニング：Pythonで始める機械学習入門（8）（1/3 ページ） 最近流行の機械学習／Deep Learningを試してみたいという人のために、Pythonを使った機械学習について主要なライブラリ／ツールの使い方を中心に解説する連載。今回はニューラルネットワークのライブラリであるTensorFlow／Kerasについて解説します。 プログラミング言語「Python」は機械学習の分野で広く使われており、最近の機械学習／Deep Learningの流行により使う人が増えているかと思います。一方で、「機械学習に興味を持ったので自分でも試してみたいけど、どこから手を付けていいのか」という話もよく聞きます。本連載「Pythonで始める機械学習入門」では、そのような人をターゲットに、Pythonを使った機械学習につい

プログラミング言語「Python」は機械学習の分野で広く使われており、最近の機械学習／Deep Learningの流行により使う人が増えているかと思います。一方で、「機械学習に興味を持ったので自分でも試してみたいけど、どこから手を付けていいのか」という話もよく聞きます。本連載「Pythonで始める機械学習入門」では、そのような人をターゲットに、Pythonを使った機械学習について主要なライブラリ／ツールの使い方を中心に解説しています。 連載第1回の「Pythonで機械学習／Deep Learningを始めるなら知っておきたいライブラリ／ツール7選」では、ライブラリ／ツール群の概要を説明しました。前回は、その中でもJupyter Notebookの基本操作と設定について説明しました。 連載第3回から第1回で紹介した各種ライブラリを使う具体的なコードを例示していますが、Jupyter Note

はじめに Python + Selenium + Chrome で、要素の取得、クリックなどの UI系の操作、待機、ページ全体のスクリーンショットなど、一通り試してみます。 PhantomJS はもう更新されないということなので、ブラウザは Chrome にします。 この記事には、Selenium の API に関する情報と Chrome に特化した情報がありますが、前者の Selenium の使い方に関する情報は Firefox など別のブラウザでも使えます。 注意事項 ウェブの自動テストやスクレイピングで使われる技術です。特にスクレイピングでは、著作権の問題や、サーバー側の負荷、各種規約（会員としてログインする場合の会員規約等）やマナーなどを考慮する必要があります。 たとえば、Twitter など利用規約で明示的にスクレイピングが禁止されていることや、robot.txt などでクローリ

タイピングゲーム「寿司打」を Python によるGUIオートメーションで光学文字認識（OCR）で自動化してみたら上手く動いたので、システム構成とか工夫した点について簡単にまとめます。 作成した自動化のソースコードを公開すると荒らしが増えそうなので自粛していますが、 「こういうものを作ってみたい」「考えていたことを先に実現された」「メンターとして教えてくれ」 などの声は届いているので、これを読んで参考になれば幸いです。 タイピングゲーム「寿司打」をPyAutoGUI + 画像認識 (OCR)で自動化した結果 pic.twitter.com/p9EgvlpvpN — まこ (@tex2e) February 10, 2019 ちなみに、合計で340枚以上とるとゲーム側でエラーが発生してしまうので、わざと途中で終了するようにしています。 本当ならもっと高いスコアを出せたはずなのですが… 作成し

この記事を書くに至ったきっかけ Recruse Centerでは、私は、画像処理の勉強に時間を費やしていました。独学をし始めた頃は、何をするものなのか全く理解しておらず、ただ、文字や輪郭、模様などを識別するのに役立ち、これらで面白いことができる、ということくらいの知識しかありませんでした。 私の情報源は、主にWikipediaや書籍、公開されている大学の講義ノートです。これらの資料に慣れ親しんでくるにつれ、画像処理の世界における基礎を伝えられる「入門向け画像処理」を望むようになりました。 これが、この記事を書こうと思ったきっかけです。 前提条件 この記事は、Pythonが扱えるということを前提に書いています。その他の事前知識は必要ありませんが、NumPyや行列計算に慣れていると理解しやすいでしょう。 初めに 使用するのは、Python版OpenCV、Python 2.7 ^(1) 、iPy

Selenium（セレニウム） の SendKeys は遅かったです。 webdriver でテキスト入力するときは、SendKeys で入力するのが簡単でしたが、どうしても速さに限界がありました。 そこで、テキストボックスに長い文字列を入力するときは、『executeScript（エクセキュート スクリプト）』で入力するのがおすすめです。 executeScript を使用したら、テキストエリアの value に、直接テキストを入力することができました。 Python の場合は .execute_script() というメソッドを使用します。 入力したい文字列を直接代入できたので、長いテキストも、一瞬で入力できるようになりました。 Selenium の高速化が必要なときに便利でした。 テキストボックスに文字列を入力するコード 入力フォームのテキストボックス・テキストエリア・インプットボッ

何度もハマるので頭に刻み込む様に調べて習得するよ 前提 検証環境 実行は全てtreeコマンドを実行したパスと同パスでREPLを起動して行っている Pythonは2.7.5 パッケージとは Pythonでは__init__.pyを含むディレクトリをパッケージと言う ただのディレクトリでは再帰的にモジュールを検索しないため、基本的には__init__.pyが必要 読み込み時に検索する範囲 実行ディレクトリと同ディレクトリ カレントディレクトリ 環境変数「PYTHONPATH」に列挙したディレクトリ sys.pathに含むディレクトリ sys.pathは絶対パスの文字列リストであり、import sys; print sys.path 等の方法で確認できる 実例 同ディレクトリのメソッドをimportする

pandas.DataFrameから任意の条件を満たす行を抽出するにはquery()メソッドを使う。比較演算子や文字列メソッドによる条件指定、複数条件の組み合わせなどを簡潔に記述できる。 pandas.DataFrame.query — pandas 2.1.4 documentation Indexing and selecting data - The query() Method — pandas 2.1.4 documentation ブーリアンインデックス（Boolean indexing）による条件指定については以下の記事を参照。 関連記事: pandasで複数条件のAND, OR, NOTから行を抽出（選択） 特定の型の列を抽出したり、行名・列名で行・列を抽出したりすることも可能。 関連記事: pandas.DataFrameから特定の型の列を抽出・除外するselect_dt

Python で特定のディレクトリをライブラリ読み込み対象パスに追加する方法をご紹介します。 Python でライブラリを読み込むディレクトリは sys.path の中にリストアップされています。

レンタルサーバのロリポップでは、python2系、3系の実行環境が用意されており、pythonのプログラムを実行させることができます。 今回は、pipパッケージが必要なpythonのプログラムを手元の環境で作成／動作確認し、ロリポップのサーバへ転送して実行させる方法を説明します。 ローカルでの作業 まずは、手元の環境で動作するスクリプトを作成します。 今回はmac上で、pythonのrequestsとBeautifulSoupパッケージを利用したスクリプトを作成してみます。 まず、vendorディレクトリを作り、pipでパッケージをインストールします。 mkdir vendor pip install requests --target ./vendor pip install beautifulsoup4 --target ./vendor インストールしたパッケージが、vendorディ

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

matplotlibはPythonでグラフを描画するときなどに使われる標準的なライブラリです。 画像ファイルを作るばかりでなく、簡単なアニメーションやインタラクティブなグラフを作ることも可能です。 実際の例はmatplotlibサイトのギャラリーで見ることができます。 matplotlib/gallery matplotlibは本家のサイトやどこかのブログにあるチュートリアルや例を描画してみるぶんには簡単なのですが、 実際に自分でプロットするとなると基礎的な概念を理解していないと使いにくいライブラリでもあります。 また、基礎的な概念を理解していないとドキュメントを参照する際にもどこを見て、どう実用すればいいのかわかりません。 そこで、この記事ではそのあたりのmatplotlibの基礎を解説していきます。 なお、Python自体の知識はある程度仮定していますが、matplotlib自体の実装

pandasのDataFrame, SeriesとNumPy配列ndarrayを相互に変換する方法を説明する。 DataFrame, Seriesをndarrayに変換するにはto_numpy()メソッドかvalues属性、ndarrayをDataFrame, Seriesに変換するにはそれぞれのコンストラクタを使う。 DataFrame, SeriesとPython組み込みのリスト型listの相互変換、DataFrameとSeriesの相互変換については以下の記事を参照。 関連記事: pandas.DataFrame, SeriesとPythonのリストを相互に変換 関連記事: pandas.DataFrameとSeriesを相互に変換 本記事のサンプルコードのpandasとNumPyのバージョンは以下の通り。バージョンによって仕様が異なる可能性があるので注意。 import panda