はてなブックマーク

こんにちわ alivelimb です。 FastAPI などで見える機会が増えたasyncioですが、本当に恩恵があるのかベンチマークテストしてみました。 はじめに 「そもそもasyncioって何？」という方のために簡単に紹介してみます。 詳細は公式ドキュメントまたは@JunyaFffさんのスライドが非常にわかりやすいです。 asyncio とは？ asyncio はその名の通り非同期(async) I/O の実装に活用できます。 ネットワーク通信を含む Input/Ouput の際は処理待ちが発生し CPU を持て余してしまいます。 File I/O の間 CPU を別の処理に割り当てることで CPU をフル活用させることができます。 フル活用と言ってもasyncio単体では 1 スレッドの CPU 使用率が 100%ということです。 multiprocessing, joblibなどの

こんにちわ alivelimb です。 本記事ではプロジェクト毎に用意している Python 開発環境を紹介します。なお、本記事で紹介した環境構築の自動化スクリプトをgithubで公開しています。 概要 Python の開発環境は主に VSCode, pyenv, poetryを用いて用意しています。 pyenv は Python 自体のバージョン管理を行います。Python3.8 から 3.9 への切り替えもコマンド 1 つで行うことが可能です。Poetry は Python パッケージの管理を行います。これらに加えて VSCode の各種拡張機能を活用することで開発環境としています。 本記事で構築した環境デモ gif デモで示していることは以下の通りです リッチな予測変換 自動インポート(pathlib.Pathをインポート) ファイル保存時の静的解析 & 自動整形 Type Hint

新人: 「本日データサイエンス部に配属になりました森本です！」 先輩: 「お、君が新人の森本さんか。僕が上司の馬庄だ。よろしく！」 新人: 「よろしくお願いします！」 先輩: 「さっそくだけど、練習として簡単なアプリを作ってみようか」 先輩: 「森本くんは Python なら書けるかな？」 新人: 「はい！大学の研究で Python 書いてました！PyTorch でモデル作成もできます！」 先輩: 「ほう、流石だね」 新人: 😊 先輩: 「じゃ、君には今から 3 時間で機械学習 Web アプリを作ってもらうよ」 先輩: 「題材はそうだなぁ、写真に写ってる顔を絵文字で隠すアプリにしよう」 先輩: 「あ、デプロイは不要。ローカルで動けばいいからね。顔認識と画像処理でいけるよね？」 新人: 😐 新人: (えぇぇぇぇぇぇぇ。3 時間？厳しすぎる...) 新人: (まずモデルどうしよう。てかもら

こんにちわ alivelimb です。 pandasは言わずと知れた Python のデータ分析ライブラリですが、私が分析業務をする時も利用しています。本記事では自分自身が過去に詰まったところや、後輩のコードレビューをしていてバグの原因になることが多いと感じた部分を Tips として紹介します。 はじめに 本記事では成績ダミーデータを生成して、データ操作を行います。 import random import pandas as pd def create_dummy_scores(n): scores = [ dict( user_id=f"user{i+1}", subject=subject, score=random.randint(0, 100) ) for i in range(n) for subject in ["国語", "数学", "英語", "理科", "社会"] ]

こんにちわ alivelimb です。 Pythonista の皆さん、標準ライブラリに導入されているpathlibは使っていますでしょうか。 本記事では pathlib の魅力をお伝えします。 /の有無を意識する必要がない ファイルパスを指定する時、どのように書いていますか？ 一番最初に思いつくのは といった文字列形式でしょうか。 では以下のようなディレクトリ構成を考えてみます。 main.py からは data ディレクトリの csv ファイルを読込処理します。 csv ファイルは日別で作成されており、スキーマは毎日同じものとします。