Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

クレジットカードの利用明細はこまめにチェックする必要がある。なぜなら、カードの不正使用などの危険があるからだ。しかし、最近ではオンライン明細が推奨されており、カード会社のサイトにログインして、明細をダウンロードしなければならないことも多い。カードが複数枚あるなら、それはかなり面倒な作業となる。そこで、自動でカード明細をダウンロードするプログラムを作ってみよう。今回は、環境の構築をし、簡単なプログラムを作ってみよう。 Webブラウザを自動操縦しているところ Webブラウザを自動操作しよう PythonにはデータをWebから取得する命令がいろいろある。最も簡単なのは、Pythonに標準で用意されているurllib.requestだ。これを使うと任意のURLからデータを取得できる。しかし、最近のWebサイトは、セッションという仕組みを利用していたり、JavaScriptでページをレンダリングした

こんにちは、ほけきよです。 pythonでデータを取り扱っているとき「あれ、これどうやるんだっけ？？」 ってなること、ありませんか？僕は10分に1回程度なります。 いや、覚えろと自分でも思うんですが、覚えられないんですよね。100回くらい同じコマンドを調べてたりする。 物覚えが良くないので、ココを見れば絶対大丈夫なようにしておこうと思い、まとめてみました。 jupyterで最初に開くときに読み込むモジュールたち datetime 日付⇔文字列の変換 datetimeの足し算引き算 json dict型⇔json jsonファイルの入出力 datetimeをjsonにする時、エラーが出る pandas ～以外を表すやつ andとor inf弾く リストをdfにサクッと変換 datetimeとして読み込み 読み込み時にcodecのエラーが出る DataFrameのfor文 numpy lins

10月20日に開催された「PyData.tokyo One-day Conference 2018」では、フリーランスのプログラマで、python.jpの管理人もしている石本敦夫氏がPythonやNumPyの歴史とPythonで並行処理を行う時のポイントを解説した。 python.jp管理人 石本敦夫氏 PyData.tokyo One-day Conference 2018 「NumPyの歴史とPythonの並行処理」講演資料 なぜ機械学習にはPythonなのか ～NumPyを核に形成された科学技術計算のエコシステム いま「機械学習」でググると「python」が関連キーワードとしてサジェストされるほど、AIや機械学習を扱うならPythonは定番の言語だ。2011年にIEEEが発行した雑誌には「科学技術計算においてPythonはデファクトスタンダード」と記述されている。 その理由を示すべく

本記事は『Pythonでレトロゲームを作ろう！』シリーズの総集編です。 本シリーズは、以下の読者を想定して書きました。 【対象読者】 Pythonでゲームを作りたい人 ゲーム開発を題材にPythonプログラミングを学びたい人 数学・物理を学び、実践としてプログラミングまでしたい人

Pythonはオールマイティなプログラミング言語だ。Pythonを使えば、他のプログラミング言語でできる大抵のことは実現できる。もちろん、Webサイトの作成だってお手の物だ。今回から、数回に分けて、Pythonを使ったWebサイトの作成に挑戦してみよう。一回目の今回は、スマートフォンでも手軽に更新できるメッセージボードを作ってみよう。 本当にPythonを使ったWebサイトが百円で運用できるか？ 知っている方にとっては、当然のことだが、もう何年も前から、月百円も出せば、自分のWebサイトを開くことができる。もちろん、ブログをやるだけ、SNSで日記を書いたり、つぶやきたいだけなら、お金をかけなくても、無料で十分楽しめる。しかし、自分の作った独自のプログラムを動かし、それを世界中の人に使ってもらいたい場合などは、自分でWebサイトを作って公開してみると良いだろう。月々のお小遣いから百円を出費す

マイクロソフトが Excel に Python を搭載することを検討しているというニュースが流れたのは１年前のことで、結構話題になりました。昨年の Python Advent Calendar 2017 では、ExcelにPythonが搭載されることを期待して「ExcelにPythonが搭載？」という記事を書きましたが、今回は、その続編を書きます。 そのニュースというのは、マイクロソフトが Excel に Python を搭載するかどうかを検討するためアンケートを実施したということなのですが、詳しく知りたい方は、Publickeyの「ExcelにPython搭載、マイクロソフトが検討。アンケートを実施中」という記事がわかりやすいので、そちらをみてください。 その後どうなったかというと、マイクロソフトが運営しているコミュニティサイト「Excel’s Suggestion Box」に投稿されて

毎年恒例、Pythonの本と学び方のまとめ・2019年バージョンとなります. ※2021/1/11更新：2021年版あります ※2020/1/9更新：2020年版もあります, こちらもよろしくおねがいします！ ※ちなみに昨年版はこちら 改めましてこんにちは、Pythonと野球を仕事にしています、@shinyorke（Python歴おおよそ8年）ともうします. なお、Python その2 Advent Calendar 2018 12/24記事でもあります. このエントリーはそこそこ長いので、「最初の方をサクッと読んで、残りはつまみ読み」してもらえると良いかもです！*1 ※もちろん全部読んでも構いません！（それはそれで嬉しい） サクッとまとめると 入り口としての「独学プログラマー」は万人が読んだほうが良い名著 データ分析・解析やりたい人も、Webからやっておくと良いかも（特に前処理） Web

Pythonでプログラムを書くとき、ほぼ必須となるデータ構造であるリスト (list) の仕組みを紹介します。僕自身Pythonをよく使うのですが、これまで実装を意識してこなかったので、内部の仕組みについてまとめてみました。Pythonのリストは要素の追加 (list.append) /削除 (list.pop) により、サイズが動的に変更されますが、これらはO(1)で高速に行う (list.popは末尾要素のみ) ことができます。この記事ではその理由について解説していきます。 Pythonのリストのような特徴を持ったデータ構造は動的配列 (dynamic array) と呼ばれます。通常の配列は静的配列 (static array)として区別されます。 この記事では、動的配列の概要、要素の追加/削除について、MITの講義 (Table Doubling, Karp-Rabin) を元に以

はじめに 当社にアルバイトに来ていた人（来春に新卒入社の予定）に「pandasを高速化するための情報は無いですか？」と尋ねられました。 このパッケージの使い方は多数の書籍やWebで体系立った記事で書かれています。 しかし、高速化に関しては体系的な情報源が思いつかなかったので、「実際に書いてみて、1つ1つチューニングするしかないです」としか答えられませんでした。 そこで、この方を始め、来春（2019年4月）にデータアナリストまたはデータサイエンティストになる新卒へ向けて、pandasの高速化に関する私の経験をTips集にしてお伝えしたいと思います。 この記事は今後も内容を充実させるために、Tipsを追加していきます。 この記事を読んだ後にできるようになること pandasでレコード数1000万件のデータでも1分以内で完了する前処理が書けるようになります。 その結果、1日中実行し続けなければな

この記事は BeProud Advent Calender 2018 の20日目の記事です。そのためいつもよりボリュームたっぷり、文体も丁寧にお送りします。 adventar.org 本記事ではPoetryを使ってパッケージ開発→PyPIへ登録するまでの流れを紹介します。 github.com プロジェクト作成からPyPI登録までわずか30秒 Poetry について 基本的な使い方 Poetry と Pipenv Pipenvは確かに便利だけど Pipenv から Poetry に乗り換える Poetry と Pyenv PEP517 と PEP518 Poetryの各種設定 venvの作成先をプロジェクト内にしたい TestPyPIへアップロードできるようにする TestPyPIのユーザー名とパスワードを設定する ここまでの設定 プロジェクトを用意する 新規作成 標準的なレイアウト sr

この記事は Python その2 Advent Calendar 2018 - Qiita の1日目です。 responderとは GitHub - kennethreitz/responder: a familiar HTTP Service Framework for Python 2018年10月に公開された イケてるPython WebFramework です。 requestsやpipenvなどの開発者である Kenneth Reitz が(おそらく)今年のHacktoberfest 2018 - DigitalOcean 用に開発したものだと思われます。 GitHubのタグを見ると(Topic: hacktoberfest2018 · GitHub )、hacktoberfestで2位 今年10月に公開されたのに関わらず既にStarが2000以上付いており、かなり勢いがあります

Pyxelの開発が一区切りしたので、改めて紹介記事を書いてみました。 [2020.4.4追記：最新版の紹介記事はこちらです] Pyxelって何？ Pyxel（ピクセル）は、昔ながらのドット絵タイプのゲームを簡単に作れる「レトロゲームエンジン」です。 2018年7月30日にリリースされた、非常に新しいゲームエンジンなのですが、海外を中心に急速にユーザーが増えています。 github.com プロジェクトはGitHubでオープンソースとして公開されており、公開４日でGitHubのデイリーランキングで全１億のプロジェクト中１位を獲得。ついでに作者である私もGoogle、Facebook、Microsoft等の企業アカウントを含む3100万人の開発者ランキングで１位になっています。（１位の座は48時間持ちませんでしたが…） GitHub上ではその後もスター数が増え続けており、現在は4000スターを

EF15形は高性能な電気機関車であったが、引き出し性能が蒸気機関車に劣ると誤解されていた。 誤った運転方法により本来の性能を引き出せていなかったのである。 （spaceaero2 [CC BY 3.0], ウィキメディア・コモンズより） こんにちは、エムスリー・エンジニアリングG・基盤開発チーム小本です。 WEBサイトは RailsやSpringなどの「本体部分」だけでは完結しません。レポート作成・データ更新などの細かい処理も必要です。 過去にはこうした用途にはBashがよく使われました。しかし、Bashは落とし穴が多かったり、クラスなどの抽象化機能がなかったりして、規模が大きくなると辛くなります。 そこで、Bashの代替候補に挙がるのがPythonです。エムスリーでもかつてはBashを使っていましたが、現在は新規案件にはPythonを推奨しています。 しかし、実際にPythonで書き直そ

VSCodeのPython拡張機能が更新されたと発表され、Jupyter Notebookの扱いが便利になったようなので確認してみました。 要約 VSCode上でPythonコード(拡張子.py)を#%%の区切り単位で実行できる 実行結果はコードと合わせてJupyter Notebook形式(拡張子.ipynb)で出力できる 逆に既に作成されたJupyter Notebook形式のファイルを#%%で区切られたPythonコードに変換することもできる つまりVSCodeのみでJupyter Notebookの新規作成や既存ファイルの編集を完結させられる 環境 OS : Windows10 (10.0.17134) Visual Studio Code : 1.28.2 VSCodeのPython拡張機能 : 2018.10.1 python : 3.6.6 jupyter : 1.0.0 j

Microsoftは、Visual Studio CodeのPython用エクステンション「Python extension for Visual Studio Code」の2018年10月版アップデートとなる"the October 2018 release of the Python Extension for Visual Studio Code"をリリースしたことを現地時間8日、公式ブログで発表した。マーケットプレイスからダウンロードもしくはVisual Studio Code内のエクステンションギャラリーから直接インストールできる。 10月版では、新たにPythonのインタラクティブな実行環境であるJupyterをサポート。エディタ上にPythonの実行結果を即座に返すJupyterの"editor-centric"なPythonが実装できる。pythonファイルのコード上で"#

本連載は、マイクロソフトのSaaS型デスクトップ＆Webアプリケーション「Office 365」について、仕事の生産性を高める便利機能や新機能、チームコラボレーションを促進する使い方などのTipsを紹介する。 Office 365を使いこなして仕事を早く終わらせたい皆様にお届けする本連載。今回はPythonを用いたExcelワークシートの自動処理に注目する。 OpenPyXLでワークシートを操作 プログラミング言語のPythonには、Excelワークシートの操作を可能にするライブラリ「OpenPyXL」が以前から存在する。機械学習の文脈で注目を集めるPythonだが、そのままワークシートを制御できれば便利だろう。すべての手順を紹介しようとすると1回では終わらないため、Pythonのインストールなどは割愛する。なお以下の操作解説ではWindows版Pythonはバージョン3.7.0を用いてい