##はじめに Kaggleで使えるPandasの使い方を備忘録として残します。 随時更新していく予定です。 更新：2019年1月29日15時　様々なコンペで使える便利な関数を追記しました。 ###Pandas Basics Cheat Sheet(基本的な使い方) [引用]https://becominghuman.ai/cheat-sheets-for-ai-neural-networks-machine-learning-deep-learning-big-data-678c51b4b463 ##プログレスバーを表示する df.apply()やdf.map()の進捗を見たい時に、 tqdmというライブラリを使うことでプログレスバーを表示することができます。 import pandas as pd import numpy as np from tqdm._tqdm_notebook i

こんにちは、あんどう（@t_andou）です。 少し前ですが、こんなニュースが話題になっていました。 詳細は深追いしていませんが、ニュースキャスターの人物モデルをコンピューターで再現して音声も読み上げさせているようです。 japan.cnet.com また、政治やエロ方面で問題になっていましたが、deepfakesと言う「顔をすごくリアルに入れ替えることができる技術」も話題になっています。 japanese.engadget.com 去年は3Dモデルを使った『Vtuber』が流行りましたが、今後はこう言ったリアルなアバター？がいろんな方面で出てくるんでしょうね。 と言うことで、今回からその基礎になるようなものを作ってみたいと思います。*1 とは言え、ただリアルな見た目・リアルな声のYoutuberだとしたら、実写で良いのでは？と突っ込まれそうですので、 生身だと出来ないこと…具体的には『2

Fashion-MNIST を動かしてみる （注）このデータはMNISTを少し複雑化することを意図したもので、衣服等の識別に使える種類のデータではない。あくまでもテストデータ。 今回はDockerを用いてKeras + Jupyterの環境を構築する。 Docker及びGitコマンドが使える環境であれば実行できるように記述したつもり。 事前準備 Dockerのインストール https://www.docker.com/ 実行環境 macOS Sierra 10.12.6 MacBook air early 2015 手順 Docker Keras をクローン

Update! (2nd December 2019)I’ve just released a series on MuZero — AlphaZero’s younger and cooler brother. Check it out 👇 How to Build Your Own MuZero Using Python (Part 1/3) How to Build Your Own MuZero Using Python (Part 2/3) How to Build Your Own MuZero Using Python (Part 3/3) In this article I’ll attempt to cover three things: Two reasons why AlphaZero is a massive step forward for Artificial

皆さんこんにちは お元気ですか。私は元気です。 今日はPythonにおけるメモリ少なく使う方法を紹介したいと思います。 なぜ、そんな方法を書くに至ったか。それは、こんなエラーをしょっちゅう見ているからですね。 Traceback (most recent call last): File "lasagne_wheal.py", line 48, in <module> prediction = model.predict_proba(np.array(X_test)) MemoryError 画像処理を行っている人間ならよくやりがちかもしれませんが、 要はint8で持っている情報をfloatに変換してデータが膨れ上がったことによってメモリが 不足していることから発生しています。 Convolutional Neural Networkを大きな画像で実施しようとするとよく発生するのではないで

システムの構築、新しい技術の習得、PythonやDevOpsなどに情熱を注ぐソフトウェア開発者です。現在はチューリッヒを拠点とするビッグデータのスタートアップで働いており、データ分析およびデータ管理ソリューションのためのPythonの技術を磨いています。 1 はじめに Python は開発時間を短縮できるという点で一般的に評価の高い言語です。しかし、Pythonを使って効率よくデータ分析をするには、思わぬ落とし穴があります。動的かつオープンソースのシステムであるという特徴は、初めは開発を容易にしてくれますが、大規模システムの破綻の原因になり得ます。ライブラリが複雑で実行時間が遅く、データの完全性を考慮した設計になっていないので、開発時間の短縮どころか、すぐに時間を使い果たしてしまう可能性があるのです。 この記事ではPythonやビッグデータで作業をする時に、最も時間を無駄にしがちな事柄につ

ディープラーニングを使ったイメージの切り抜きで紹介されていたselective searchをやってみました。 selective searchは画像中の似たような領域を一つの物体として認識して、物体の候補を提案するアルゴリズムです。 良さそうなスライドを見つけたので紹介しておきます。 KantoCV/Selective Search for Object Recoginition from belltailjp www.slideshare.net Selective SearchのPython実装にはdlibの他にも belltailjp/selective_search_py · GitHub AlpacaDB/selectivesearch · GitHub があるようです。これ以外にもあったら教えて欲しいです。 dlibのインストール 記事ではMatlab実装を使っていましたが、

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? #!/usr/bin/env python # -*- coding: utf-8 -*- # インポート import numpy as np import scipy as py import pandas as pd import itertools as it ''' 作成 ''' # リスト作成 list_value = [10,11,12] list_value Out[374]: [10, 11, 12] # タプル作成 tuple_value = (10,11,12) tuple_value Out[375]: (10,

さて、本日はpandasでHTMLの表をスクレイピングしてみようと思います。スクレイピングだったらBeautifulSoupやlxmlなどが有名ですが、HTMLの表をスクレイピングするのは割と面倒くさい作業です。「気象庁の震度データベース」というちょうどいいサンプルがあったので、今回はpandasを使ってみようと思います。←これがとっても便利なんです ここで過去10年間で起きた震度5強以上の地震を検索してみたいと思います。 52件もあることがわかりました。やはり日本は地震大国ですね。そして、地震の検索結果が表になっていることがわかります。ここから緯度経度を取得して地震のポイントをマップにプロットしようと思います。 このページでもポイントをプロットしています。地震の深さでポイントの大きさを変えていますね。 このページをいったんHTMLとしてローカルに保存します（動的に作られているページなので

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

はじめに こんにちは、コピペデータサイエンティストです。 3年ぐらい前に「ラーメンと自然言語処理」というおちゃらけLTをしたのですが、今見ると恥ずかしいぐらいショボいので、Pythonで作りなおしてみました。 長くなったので3行でまとめると Web上に転がっている口コミとか紹介文を Pythonのライブラリを用いて解析することで 好きなラーメン屋に似たラーメン屋を見つける手法を構築した 方法 統計的潜在意味解析という手法を用います。ざっくり言うと、文書がどんなトピックを持っているか、何に関する文書なのか、を推定してくれるものです。 以下の様なイメージで各トピックに割り振られる割合を算出できるため、以下の例ではAとBが近い、ということを計算することが可能です。 ラーメン屋A： [0.75, 0.15, 0.10] ラーメン屋B： [0.60, 0.15, 0.15] ラーメン屋C： [0.0

（左：Keras、右：MXnet） Kaggle Masterの間ではMXnetよりさらに人気なDeep Learningフレームワークというかラッパーが、@fchollet氏の手によるKeras。 Keras Documentation 結構苦心したのですが、ようやく手元のPython環境で走るようになったので、試してみました。なおKerasの概要と全体像についてはid:aidiaryさんが詳細な解説を書いて下さっているので、そちらの方を是非お読み下さい。 追記 Kerasは人気のフレームワークなので、僕なんぞがこんなブログ記事を書く前から素晴らしい紹介記事・スクリプトが幾つもあります。こちらでは参考までに以下のお二方のものをご紹介させていただきます。 Kerasはレゴブロックを組み合わせるかのようにして、簡単にディープラーニングのモデルを作成できる便利なライブラリです。これを使って楽し

MongoDBへPythonからPyMongoを使用して接続。 PyMongoのチュートリアルを試してみました。 PyMongo 2.7.1のインストールと使い方(チュートリアル) チュートリアルに登場していない、よく使うことになりそうな機能を試してみます。 MongoClient MongoDBに接続するためのオブジェクトです。 ドキュメントはこちら。 mongo_client – Tools for connecting to MongoDB database_names()で、データベースの一覧表示。 drop_database(name_or_database)で、データベースの削除が行えます。 「mongo_test」というデータベースを作成して、名前を表示。 その後、データベースを削除するサンプルはこんな感じになりました。 # -*- coding:utf-8 -*-impor

無料でSSL証明書が発行できると話題のLet's Encrypt。 先日、CentOS6のサーバに試しに入れてみようとしたところ、python2.7が入らずに詰まってしまいました。 最初に OSはCentOS 6.7で、gcc, git, nginx以外ほとんど入っていない状態。 導入の参考にしたのはこちらのサイト。 nginxの設定など細かく書いてくださっているので、非常に参考になります。 光の速さのWEBサーバー(nginx)をlet's encryptでSSL化及びHTTP/2化。ついでにセキュリティ評価をA＋にする。 - Qiita 現象 Gitでclone後、letsencrypt-autoを叩くと、必要なものが自動でインストールされるわけなのですが、virtualenvがなくて止まります。 $ git clone https://github.com/letsencrypt/l

Photo by Kathleen Franklin こんにちは。谷口です。 先日、プログラミング言語別エンジニアの平均年収ランキングにて、Pythonが651万円で1位になったことが話題になりました。 www.itmedia.co.jp Pythonは機械学習、人工知能分野、計算系の研究に適したライブラリが非常に多く、各分野の研究の盛り上がりとともにニーズが増えています。また、もちろんそういった研究分野だけでなくYouTubeやInstagram、Dropbox等といったメジャーなWebサービスでも多く使用されています。 Pythonは他のプログラミング言語に比べても、構文がシンプルで、一つの処理について誰がコードを書いても同じ書き方になりやすいという特徴があります。そのおかげで初心者でも比較的コードが書きやすく、また他人が書いたコードを読む際も読みやすい言語となっています。プログラミン

Photo by Horia Pernea こんにちは。谷口です。 最近「機械学習に興味がある」「いつかやろうと思ってるんだよね……」と言うエンジニアの方をよく目にします。また、その倍ぐらい「機械学習難しすぎて挫折した」という方も見ます。 弊社のITエンジニアにも機械学習を勉強中という人がいますが、特に最初は難しすぎて何から手を付けたらいいのかよく分からず、とても悩んだと言っていました。そこで同じような悩みを抱えている方の参考になればと思い、初心者の頃に参考になった機械学習入門者の方に役立ちそうな記事やスライドを聞いてきました。 また、Pythonには機械学習のためにデータを処理するライブラリ（数値演算をするためのライブラリや図を作成するためのライブラリなど……）がそろっていて、呼び出したり組み合わせて処理したり……といったことがしやすいため、多くの人が機械学習で使っています。コードも短く