Information 2024/1/8： pandas , Polars など18を超えるライブラリを統一記法で扱える統合データ処理ライブラリ Ibis の100 本ノックを作成しました。長期目線でとてもメリットのあるライブラリです。こちらも興味があればご覧下さい。 Ibis 100 本ノック https://qiita.com/kunishou/items/e0244aa2194af8a1fee9 2023/2/12： 大規模データを高速に処理可能なデータ処理ライブラリ Polars の 100 本ノックを作成しました。こちらも興味があればご覧下さい。 Polars 100 本ノック https://qiita.com/kunishou/items/1386d14a136f585e504e はじめに この度、PythonライブラリであるPandasを効率的に学ぶためのコンテンツとして

サーバーレスのメリット＆本質を、AWS Lambdaを使って理解しよう 「サーバーレス」はここ数年の技術トレンドの一つです。サーバーレスアーキテクチャを2年運用してきたJX通信社の小笠原みつき（yamitzky）さんが、そのメリットや実際の業務における考え方を、ハンズオンを交えながら解説します。 JX通信社の小笠原みつき（@yamitzky）と申します。ニュース速報アプリ「NewsDigest」の事業統括をしているエンジニアです。 JX通信社では、人手のかかる「報道」という分野を機械化・自動化することをミッションの一つとして掲げており、技術選択においても、なるべく運用を自動化できる方法を選ぶよう心掛けています。その過程で「サーバーレス」という技術に出会い、2016年ごろから本番運用してきました。 今回の記事のゴールは、サーバーレスという技術が「どんなものであるか？」を理解することです。サー

機械学習のスタックしていた案件をFacebook Prophetで３日で返済した話 背景 広告代理店業を行なっており、クライアント企業から予算を預かって、インターネット広告やマーケティング業をしているのだが、クライアントの予算消化の異常値を監視したい 2016年半ばに外部のデータ分析専門の会社に、その日の予算消化が異常の場合、アラートを鳴らすシステムを外注開始、2016年10月に納品 2017年9月半ばに進捗率が芳しくないことが判明した。終わる見込みが立たなかったので、私が解決に当たる （ついでに"Machine Learning: The High-Interest Credit Card of Technical Debt[2]"と呼ばれる負債化してしまう機械学習のシステムとはという評価軸があったので、これらから今回使えそうなプラクティスを取り出して適応してみたいというモチベーションが

はじめてFirebaseを学んだときは良さがまったくわかりませんでした。 それはいまいちメリットがわかりづらか […]

今日はPython (Pandas)で高速にCSVを読むことに挑戦したいと思います。 Kaggleに参加するたびに、イライラしていたので各実装の白黒はっきりさせようと思います。 R使いが羨ましいなぁと思う第一位がCSV読込が簡単に並列出来て速いことなので、 なんとかGILのあるPythonでも高速に読み込みたいと思います。 ただ、この検証ではコーディング量が多いものは検証しません。 CSV読込は頻出するので、フットワークの軽さが重要です。（オレオレライブラリ嫌い） Pickleは早いけど。。。 結論はDask使おう！ 検証環境 データ 速度検証 pandas.read_csv() pandas.read_csv() (dtype指定) pandas.read_csv() (gzip圧縮) numpy.genfromtxt() pandas.read_csv() (chunksize指定 +

IEEE Spectrumは18日、独自の指標によって決定した人気プログラミング言語のランキング「The Top Programming Languages 2017」を発表しました(Neowin)。 上記画像がその結果で、スクリプト言語Pythonが1位に、C言語が2位に、Javaが3位になっていることがわかります。Pythonは2016年の3位から1位へのランクアップで、背景にはやはり近年注目を集めるAI・機械学習分野のライブラリの充実があるのかもしれません。 2位のJava言語は最近何かと批判を集めがちですが、需要は根強く、特に「仕事」系のプログラミング言語としては相変わらずトップクラスの人気を誇っているようです。 その他、Go言語が9位に上昇した反面、Rubyが12位まで下降しています。 IEEE Spectrumのランキングは、GoogleやGitHub、Stack Overfl

- はじめに - 最近はWebスクレイピングにお熱である。 趣味の機械学習のデータセット集めに利用したり、自身のカードの情報や各アカウントの支払い状況をスクレイピングしてスプレッドシートで管理したりしている。 最近この手の記事は多くあるものの「～してみた」から抜けた記事が見当たらないので、大規模に処理する場合も含めた大きめの記事として知見をまとめておく。 追記 2018/03/05： 大きな内容なのでここに追記します。 github.com phantomJSについての記載が記事内でありますが、phantomJSのメンテナが止めたニュースが記憶に新しいですが、上記issueにて正式にこれ以上バージョンアップされないとの通達。 記事内でも推奨していますがheadless Chrome等を使う方が良さそうです。 - アジェンダ - 主に以下のような話をします。 - はじめに - - アジェンダ

Pythonista(Python使い)の中で有名かつプロフェッショナルが集まる強者集団(株)ビープラウドさん*1が満を持してリリースされたPythonのオンライン学習サービス「PyQ」を試してみました. pyq.jp 佐藤社長のご厚意で利用アカウントをいただき,実際利用してみました.*2 簡単ではありますが,利用した時のレポートとサービスの感想,「どんな方々にオススメか?」的なレビューを簡単に書きたいと思います. この夏,プログラミングを覚えたい(特にPython)という方は是非ご一読ください！ で,PyQどうなのよ? 下手な本を読んだり勉強会参加するマンになるぐらいだったら,PyQを一ヶ月集中してやり切ったほうが絶対いい！この夏に(2,980円はお買い得). 学習コンテンツの粒度・写経をベースに覚える思想・操作感が良い(一部改善して欲しいところはあるが) 「実務で通用するレベルに」「9

タイムマネジメントは仕事をする上で欠かせないスキルの一つである。仕事だけではなく、限られたプライベートの時間を満喫するためにも威力を発揮する。だが、自分が何にどれぐらいの時間を投入しているのかというのは、意識的に計測し、定期的に振り返らない限り、ほとんど認識することはできないだろう。「このぐらいだろう」と心のなかで思っていても、実態とかけ離れている可能性が大きい。そこでこのブログでは、タイムマネジメント関連の記事をいくつか公開してきた。 タイムマネジメントを極めるための、タイムログアプリの極め方 - toricago 『鬼速PDCA』を読んだ結果、頭がスキンヘッドになりそうになった話 - toricago 上記の記事の主な内容は、タイム管理アプリのTogglを使って、日々記録を行い、週ごとに、月ごとに蓄積したデータを分析することで、どんどんタイムマネジメントスキルを向上させるとともに、日々

オライリー・ジャパンは、単純作業を自動化する方法が学べる技術書『退屈なことはPythonにやらせよう──ノンプログラマーにもできる自動化処理プログラミング』を発売しました。プログラミング未経験者を対象にしており、手作業だと時間がかかる処理を一瞬でこなすPython 3プログラムの作り方が紹介されています。価格は3,996円（税込）です。 ▽ O'Reilly Japan - 退屈なことはPythonにやらせよう Pythonは、さまざまなプログラムを分かりやすく簡潔に書けるという特徴を持つプログラミング言語です。『退屈なことはPythonにやらせよう──ノンプログラマーにもできる自動化処理プログラミング』は、ファイル名の変更や表計算のデータ更新といった単純作業を一瞬でこなせるプログラムの作り方を学べるというもの。基本をマスターすれば、プログラミング未経験者でも「面倒な単純作業を苦もなくこな

Kivyプログラミング ―Pythonで作るマルチタッチアプリ― (実践Pythonライブラリー)posted with カエレバ原口 和也 朝倉書店 2018-06-25 Amazonで探す楽天市場で探すYahooショッピングで探す 目次 目次 はじめに 1. iOS,AndroidのGUIを作ることはできない。 2. ライセンスが微妙 kivyとは? 各プラットフォームへのインストール方法 Macへのインストール Macへのインストール(for iOS) Ubuntuへのインストール Windowのインストール 各プラットフォームでHello world GUIを表示する方法 MacでのHello world GUI UbuntuでのHello world GUI WindowsでのHello world GUI iOSでのHello world GUI 1. アプリのディレクトリを作

いつのまにやら Twitter に Follow 制限とか出来て 色々な人の発言が見たいのに Follow 追加出来なくなって コンピュータの癖に人間様の処理能力に制限かけるんじゃねーよと お怒りのみなさまこんにちは オープンソースとバザールモデルの御祭に参加出来なくてさみしい僕ですが、 みなさんいかがおすごしですか？ そんなこんなで Twitter にむかついても 「サポートに連絡しても制限解除するつもりはネーYO！！」 と言われてしまいますし、 かといってむかついたままなのも精神衛生上良くないので 60 日以上発言の無いユーザを remove するスクリプト書きますた。 pit と simplejson が入ってれば動くはずですｗｗｗｗ #!/usr/bin/env python # -*- coding: utf-8 -*- import sys, simplejson, urlli

新しいプログラム言語を覚えようと思っても、その必須性がないとなかなか覚えられない。業務などでどうしても覚える必要があれば努力もするのだが…。現状、特にRailsでの開発で満足してしまっていて、習得に向けて踏み切れないのがPythonだ。 元のPHPコード もしあなたがこれから新しい言語としてPythonを覚えてみたいと思っているなら、試しにこれを使ってみてはどうだろう。 今回紹介するオープンソース・ソフトウェアはPHPPython、PHPのソースをPythonへ変換するソフトウェアだ。 PHPPythonでは元になるPHPのソースコードを指定すると、標準出力にそれをPythonで書き直したソースコードが出力される。もちろん、機械的に直しているので、あまり複雑なものは難しいだろう。 変換結果 だが、PHPで常用される連想配列が、get("hoge")に置き換わっていたり、functionがd

Python のダウンロードおよびインストール方法です。 Python を使ったプログラミングを Windows11 の環境で行うために必要なプログラムのダウンロードおよびインストールの方法について解説します。あわえて Anaconda を使った Python のインストール方法もご紹介します。 【Pythonインストールと環境設定に関する記事】 Pythonのダウンロードとインストール Pythonに関するドキュメントを参照する Python利用のための環境変数PATHを設定する Anacondaのインストール