「ホッテントリを解析すればホッテントリ入りの記事を量産できる。」 なんて噂を聞きました。 それじゃ試してみるか、ってことで、まずは一歩目。ホットエントリーのスクレイピングから初めてみます。 環境 パッケージインストール コード ＜上記コードで出来なかった時用＞タグとclassの確認 ブラウザで目的のページにアクセスし、F12を押す 抽出する要素を探す コードの修正 取得できた まとめ 参考リンク こんな記事も書いています 環境 Python3 コーディング・動作テスト：Windows / 本番：Raspberry pi 僕のスキル：コーディング初心者 (ノギスとドライバを愛するメカ屋なのです) 最終的には、定期的にスクレイピングして解析後に出てくるホットなワードを勝手に通知し続けるところまでやりたい。 となるとマシンは動かしっぱなしになるので、ラズパイで動かすことを前提としてやりました。

PythonでKaggleなどのデータ分析を行う際、pandasでゴリゴリ作業をすることが多いかと思います。 最近知って「めっちゃ便利やん！」ってなったものをまとめておきたいと思います。 全部の関数にドキュメントへのリンクを付けたので参考にしてください。 今回も検証にはTitanicのデータセットを用います。また、文中でのdf.hoge()はpandasのDataFrameのメソッドであることを、pd.hoge()はpandasの関数であることを表します。 df = read_csv('input/train.csv', index_col=0) print(df.shape) df.head() 最低限押さえておきたいやつら まずはここから。 10 Minutes to pandas よく使うやつら。詳しい解説は省略するので、ドキュメントのリンク先を見てください。 関数 内容 リンク d

はじめに Pythonの対象バージョンは3系です。（2系でも通じるものは多いはず） 対象読者レベルは他言語を軽くでも触ったことある人です。「あー、Pythonだとこれはこう書くのねー」が網羅的に分かるようにまとめたつもりです。 ここではWEBアプリケーションフレームワーク(DjangoとかFlaskとか)に関してはほぼ触れません。 @shiracamus 多くの有益なコメントと編集リクエストありがとうございます。 Python開発環境構築 下記（私の記事ですが）はWindowsでの構築となっていますが、Macでもほぼ同じ通りにできます。 今からWindowsでベストなPython開発環境を構築する手順 Pythonについて 今最も勢いに乗っているプログラミング言語。 オブジェクト指向。Pythonでは全てがオブジェクト。 動的言語（スクリプト言語）のため、変数宣言時に型を明示的に定義しない

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

- はじめに - 最近はWebスクレイピングにお熱である。 趣味の機械学習のデータセット集めに利用したり、自身のカードの情報や各アカウントの支払い状況をスクレイピングしてスプレッドシートで管理したりしている。 最近この手の記事は多くあるものの「～してみた」から抜けた記事が見当たらないので、大規模に処理する場合も含めた大きめの記事として知見をまとめておく。 追記 2018/03/05： 大きな内容なのでここに追記します。 github.com phantomJSについての記載が記事内でありますが、phantomJSのメンテナが止めたニュースが記憶に新しいですが、上記issueにて正式にこれ以上バージョンアップされないとの通達。 記事内でも推奨していますがheadless Chrome等を使う方が良さそうです。 - アジェンダ - 主に以下のような話をします。 - はじめに - - アジェンダ

Photo by Qfamily こんにちは。谷口です。 Python初心者の皆さんは、普段どうやって勉強をしていますか？ Web上で学習サービスを探す 教えてくれる人を探して聞く スクールに通う 書籍や学習サイトに書いてある情報を読む などの方法があるかと思いますが、「YouTubeなどの動画」でも、Pythonについて学ぶことができます。 動画を使えば、無料、もしくは安価で楽しく・効率よくPythonプログラミングを勉強できます。 今回は、そんなPythonについて学べる動画チャンネルを7つご紹介します。 ■Pythonについて学習できる動画チャンネル ◆thenewboston：Python 3.4 Programming Tutorials 言語：英語 www.youtube.com さまざまな言語のチュートリアル動画が公開されているチャンネルで、もちろんPythonのチュートリア

この記事は、LIFULL Advent Calendar 2017の2日目の記事です。 おはようございます。新UX開発部の二宮( @ninomiyt )です。 LIFULLではデータ解析や最適化の用途、もしくはAWS Lambda上の簡易ツール実装用途などでPythonがそれなりに普及してきました。数値計算寄りの（いわゆるデータサイエンティスト的な）メンバーも今はPythonを使うことが多く、コード量としては小規模なプロジェクトが多く、簡単なAPIやバッチ処理の実装までやってもらうこともあります。 そのレビューをやっていく中で、「これ使うともっと簡単に実装できるよね」っていうライブラリがいくつかまとまってきたので紹介します。 click コマンドラインパーサー用のライブラリで、デコレータを使って関数を簡単にCLI化できます。 標準ライブラリのargparseがありますが、clickではバリ

前回までは、Visual Studio Code（以下、VS Code）のIDEの全般的な設定方法や、ワークベンチやエディタの配色、構文ハイライトのカスタマイズについて見てきた。今回はVS CodeでPythonプログラミングを行う上で必須となるPython拡張機能と、その使い方と設定項目などについて取り上げる。 なお、ここではWindows版のVS Code 1.22.2と、Python.orgからインストールしたPython 3.6.5で動作を確認している（macOS版のVS Codeでも一応の確認はした）。 Python拡張機能 VS CodeでPythonを使ってコードを書こうという場合、Microsoft自身が提供しているPython拡張機能をインストールするのがお勧めだ。この拡張機能をインストールせずに、Pythonファイルを作成すると、VS Codeのウィンドウ右下にPyth

※サンプル・コード掲載 あらすじ Javaだと、Kuromojiを使用するまでに必要な手続きは、基本的にjarファイルを追加するだけで完了しますので、形態素解析を使うまでの敷居は高くありません。 しかし、PythonでMeCabを使おうとすると、セットアップに時間を取られてしまうことがあります。 ですので、今回は最小限の労力で、PythonからMeCabを使う方法を紹介致します。 使用した環境 Ubuntu 16.04python3、pipはインストールされていると仮定 ＊インスタンスを用意した直後の、何も手を加えていないインタクトなマシンの状態のままです。 MeCabのインストール（１分以内） コマンドを打ち間違えなければ、完了まで１分かかららず、ご活用いただけるはずです。 MeCabを使えるようにするという事だけを優先するので、MeCabの詳細等は、別途御確認頂ければと存じます。 Me

Python3 in one pic github.com GitHubを眺めていたらPython 3の基本を一枚のマインドマップにまとめていたリポジトリを見つけた（これがわかりやすいかは人によるかもしれないが）。 拡大、縮小、折り畳みなどができるオンラインバージョンやPNG形式にしたものがある。また、IPython Notebookバージョンもあるようだ。 関連プロジェクトとしてJavaScript版もある。 github.com

機械学習の前に重要なデータ抽出・加工に便利なPythonライブラリ「pandas」の基本的な使い方のチュートリアル：Pythonで始める機械学習入門（6）（1/4 ページ） 最近流行の機械学習／Deep Learningを試してみたいという人のために、Pythonを使った機械学習について主要なライブラリ／ツールの使い方を中心に解説する連載。今回は、データ分析の前処理などで便利に使えるオープンソースソフトウェア（OSS）のPythonライブラリ「pandas」を紹介します。 プログラミング言語「Python」は機械学習の分野で広く使われており、最近の機械学習／Deep Learningの流行により使う人が増えているかと思います。一方で、「機械学習に興味を持ったので自分でも試してみたいけど、どこから手を付けていいのか」という話もよく聞きます。本連載「Pythonで始める機械学習入門」では、その

秋山です。 機械学習やディープラーニングが流行っていますが、基本的には何をするにも大量のデータを取り扱いますよね。 データの集計・分析は、機械学習をするのに大前提として必要な作業です。 そんなときに便利なライブラリがPandasです。Pandasは、Pythonを使ったデータ解析に便利な機能を提供しているライブラリです。数値や時系列のデータの操作や、データ構造をいじったりすることができます。 というわけで、今回はそんなPandasを使えるようになりたい初心者の人に向けて、ちょっとしたチュートリアルを書いてみます。 ■Pandasって何ぞ Pandasとは超ざっくり簡単に言うと、Pythonを使って、ExcelやSQL、R言語みたいな感じでデータを取り扱えるようにしてくれる便利なライブラリです。 例えば、データの整列、グループ化、データ同士の結合、スライス、欠損データがあった場合の除外、時系

Pythonで最初に知っておきたかったこと 最近、PC(Mac/Linux)やRaspberry PiでPythonを使ってプログラムを組むことが多くなってきました。長く使っていると、多少はPythonのことが分かってきて、色々便利な機能なども知ることができます。その中でも「これ、もっと早くに知りたかった…」というものが結構あったりするので、一度そういったものをまとめて紹介しようと思います。 Pythonをこれから始める初心者の方の参考になればよいなと思います。環境はMac/Linux(Raspberry Pi)を想定していますが、それ以外の環境の方でも参考になるかとは思います。 環境セットアップ 最初は環境構築です。PC（Mac/Linux）だと、仮想環境を使うのを個人的にはオススメします。以下記事参照下さい。 「俺はとにかくPythonで機械学習をやりたいんだー！」という人は、下記の記

これまで、開発や運用時に使う、ちょっとしたコマンドラインツール、自動化スクリプトは、主にBashのシェルスクリプトで実装していたのですが、最近このような用途にはPythonを使うようにしています。 Bashスクリプトへの不満 スクリプトの実装方針 ポータビリティ重視のための縛りPythonプログラミング Tips __future__モジュールでバージョン2、3両方に対応させる バージョン2、3で異なるモジュールを、同じ名前で読み込む バージョン2、3を判別する関数を用意する よく使うスニペット 文字に色をつける 赤い文字でエラーメッセージを出力して終了する 外部コマンド実行する テキストをファイルに出力する ファイルに実行権限をつける スクリプトの同時、多重起動防止する コマンドライン・オプションの解析 HTTPリクエスト まとめ Bashスクリプトへの不満 Bashのスクリプト実装にお

はじめてFirebaseを学んだときは良さがまったくわかりませんでした。 それはいまいちメリットがわかりづらか […]

一部修正しました（取り消し線部） 一連のコマンドを走らせたかったのですが、私はシェルスクリプトの文法が苦手です。そこで、Python 3でシェルのコマンドを実行させる方法を調べてみました。書きやすいし、より高級なことができると思います。 subprocessモジュール 他にも何かあるみたいですが、現在はsubprocessモジュールのrun()関数を用いるのが推奨されているようです。Python 3.5で追加されたほやほやの関数です。 以下のようにすると$ ls -l /usr/binを実行できます。 cmd = ['ls', '-l', '/usr/bin'] subprocess.run(cmd) 結果は標準出力に出力されます。結果をプログラム内で使いたい場合は引数にstdout=subprocess.PIPEを追加してください。run()の返り値はCompletedProcessクラ

Pythonを使ってこの方さまざまな点につまずいたが、ここではそんなトラップを回避して快適なPython Lifeを送っていただくべく、書き始める前に知っておけばよかったというTipsをまとめておく。 Python2系と3系について Pythonには2系と3系があり、3系では後方互換性に影響のある変更が入れられている。つまり、Python3のコードはPython2では動かないことがある(逆もしかり)。 Python3ではPython2における様々な点が改善されており、今から使うなら最新版のPython3で行うのが基本だ(下記でも、Python3で改善されるものは明記するようにした)。何より、Python2は2020年1月1日をもってサポートが終了した。よって今からPython2を使う理由はない。未だにPython2を使う者は、小学生にもディスられる。 しかし、世の中にはまだPython3に

PythonユーザのためのJupyter[実践]入門posted with カエレバ池内 孝啓,片柳 薫子,岩尾 エマ はるか,@driller 技術評論社 2017-09-09 Amazonで検索楽天市場で検索Yahooショッピングで検索 目次 目次 はじめに 1. 環境の独立性を保つために各プロジェクト毎にvirtualenvを使う 2. Python3を使う 3. requirements.txtを保存しておく 4. すべてのimport文とパスの設定は初めのセルに入れる 5. はじめはコードは汚くても良い 6. グローバル名前空間を汚さないために、セルの中の処理は関数とする 7. 長い計算時間の結果をキャッシュするためにJoblibを使う 8. セルの独立性をできるだけ保つ 9. 変数名は短くても良い 10. ユーティリティ関数にはアサーションを使ってテストを書く 参考資料 MyE