この記事は 2024 TSG Advent Calendar 3日目の記事です。昨日の記事は @__dAi00 さんの記事 AivisSpeechを使ったDiscordボットの作成　①AivisSpeechをGoogle Cloud Runにデプロイする でした。12/5 公開予定の続編も楽しみです。 今回は、初日に公開した以下の記事の副産物です。 import unicodedata # Python 3.12 まで 1000000000000.0 # Python 3.13 から 1000000.0 print(unicodedata.numeric("兆")) 大変だ。Python 3.13 から「5000 兆円」が 50 億円になってしまう（？） unicodedata.numeric メソッドと Unicode 例によって Unicode が関係してきます。前編でも触れたとおり、

コーディング面接で使われる構文、データ構造、標準関数などは実はある程度限定されています。ここに書いてある事を理解するだけでコーディング面接における（体感）8 ~ 9割くらいのPythonの必要な知識を学習できます。 例えば、辞書やセットは頻繁に活用しますが、ジェネレーター・デコレータなどはコーディング面接ではそこまで登場しません。つまり必要なものだけ集中して学習し、残りの要素はその都度調べる形が効率良いでしょう。コーディング面接では万が一忘れた時は相手が自分の代わりにググってくれたり、擬似コードとして書くことも許される場合があります。

【発刊に寄せて】 プログラマーの人材不足が叫ばれる中、プログラミング教育と言えば、とかくプログラムが書ける人材を育成する必要性にばかり目を奪われがちです。本書は、著者の岩松洋氏が岡山大学の情報工学科および大学院でプログラミングを学び、会社でプログラマーをしていた経験の中で、プログラムを読むことの重要性に気づき、その視点から書かれた一冊です。 昨今、最終的に作成するシステムを短期間で作成するために、プログラムは使えるものがあればそれを流用し、なるべく自分でプログラムを書き起こさないことが推奨されるようです。Pythonなどは特にその傾向が強く、ライブラリを使いこなすのがプログラミングの主な仕事となっている感があります。会社の中で仕事をしていれば、先輩技術者が作ったプログラムをメンテナンスすることもあるでしょうし、自分が昔作ったプログラムを修正することが必要になることもあるに違いありません。そ

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? どういうわけか日本では一切話題に上がっていないのですが、Pythonの開発者コミュニティでなんか問題が起きているようです。 どうも話が様々なスレッドにとっ散らかっているうえに半分はDiscordや非公開のところで動いているみたいなので、読み取れていないところが色々あるかもしれません。 誰かが補足してくれるはず。 Proposed bylaws changes to improve our membership experience 最初のきっかけはこのスレッドです。 これは規約の一部を変更する提案であり、その中でも3番目の提案であるAd

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 2024.9.7：Anvilについて追記しました。 2024.8.6：FastHTMLについて追記しました。 ※本記事で言及しているReflexのdiscordサーバー内に日本語チャンネルをつくってもらいました。もし、興味をもった人がいたら参加してみてください。 １．PythonだけでWebアプリをつくるライブラリが増えている 最近（2024.05）、Python界隈ではPythonだけでWebアプリが作れるライブラリが増えています。詳しくは他の記事を参照してもらえればと思います。 以下の記事がとても参考になりました。ありがとうございま

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? この記事ですることを3行で Pythonの標準ライブラリでできる並列実行を、あらためて総当たりで速度比較しよう ウォーターフォールチャートで、それぞれの並列処理の処理時間の特徴を可視化しよう boto3の実行をモデルケースにして、どの並列処理が一番早いのかを調べよう この記事の結論を先に Python 3.12から本格的に使えるようになったサブインタープリターは、CPUで実行する処理について言えば、従来のサブプロセスよりも高速 boto3の実行は、サブインタープリターよりも署名付きURLの非同期実行のほうが速い → S3からの10ファイ

はじめに 本稿では分析用クエリをスラスラ書けるようになるまでの勉強方法や書き方のコツをまとめてみました。具体的には、自分がクエリを書けるようになるまでに利用した教材と、普段クエリを書く際に意識していることを言語化しています。 想定読者として、SQLをガンガン書く予定の新卒のデータアナリスト/データサイエンティストを想定しています。 勉強方法 基礎の基礎をサッと座学で勉強してから、実践教材で実際にクエリを書くのが望ましいです。 実務で使える分析クエリを書けるようになるためには、実務経験を積むのが一番良いですが、だからといって座学を御座なりにして良いというわけではありません。SQLに自信がない人は、一度基礎に立ち返って文法の理解度を確認した方が良いと思います。 書籍 SQL 第2版: ゼロからはじめるデータベース操作 前提として、SQLに関する書籍の多くがデータベース運用/構築に関する書籍がほ

皆さんはPythonのpathlib使ってますか？私は非常によく使っています．例えば機械学習では学習の前に前処理を多く行うケースが非常に多いですが，このような時にpathlibを知っておくと便利です．pathlibは意外とPython 3.4（2014年～）からとそれなりに新しいため，古くからのPythonユーザーは os.pathの方をよく使っているかもしれません．ただpathlibは文字列ではなくPathクラスとして扱ってくれることで，例えばLinux/Windowsのパス表記の違いを吸収してくれたりします． pathlibとos.pathの比較は公式のpathlibドキュメントに譲るとして，私がよく使うpathlibのクラスを紹介します．また今回改めてドキュメントを眺めて知った便利関数も多いので，公式ドキュメントに目を通すのもオススメします． 今回は下記のような複数の素性の異なるデー

鈴木たかのり（@takanory）です。今月の「Python Monthly Topics」では、第1回で紹介したPython 3.10の新機能「構造的パターンマッチング（Structural Pattern Matching⁠）⁠」の続きをお届けします。 前回は構造的パターンマッチング全体の説明、いくつかのパターンをコード例を交えて紹介しました。今回はその続きとして、前回紹介できなかった他のパターンについても紹介します。 Python 3.10の新機能：構造化パターンマッチング | gihyo.jp 構造的パターンマッチングとは 前回の繰り返しになりますが、この記事で初めて構造的パターンマッチングを知った人に向けて、簡単に紹介します。詳細は上記の記事を参照してください。 構造的パターンマッチングはPython 3.10で新しく導入された文法です。Python 3.10は2021年10月に

はじめに　📘 この記事は ラクスパートナーズ Advent Calendar 2023 の1日目の記事になります！！ 本社の ラクス Advent Calendar 2023 の7日目にも参加予定なのでそちらもよろしくお願い致します🥳 長い間 Python3.7 環境のプロジェクトに携わっていましたが、この度 Python3.10~ 環境のプロジェクトに携わることになりました。 そこでこの機会に python3.8 以降の最新の型ヒントやコード品質向上のテクニックについて、改めて情報をキャッチアップしながらまとめていきたいと思います。 この記事の対象者　🎯 Python の型ヒントについて学び直したい方 Python3.8 以降の型ヒントについて理解を深めたい方 python のドメインモデルクラスについて理解を深めたい方 型ヒントを使用したことがないが、興味がある方 なぜ型ヒントを

こんにちは！ エムスリーエンジニアリンググループ AI・機械学習チームの氏家です。 AI・機械学習チームでは多くのMLプロダクトを開発・運用していますが、そのうちのほとんどがgokartという機械学習向けパイプラインライブラリを使って実装されています。 gokartはとてもMLプロダクトの開発に便利な反面、gokartを100%活用する方法が確立、普及しているとはいえません。 そこで、本記事では、実際にエムスリーで活用しているTipsなどを紹介していこうと思います。 これを機にどんどんgokartの知見がネット上に溢れるようになっていければ嬉しいです。 なお、本記事は「gokartで爆速開発！MLOps勉強会」の発表をもとに加筆したものとなります。 www.m3tech.blog 発表資料も公開していますのでそちらもご参照ください。 speakerdeck.com gokart Param

こんにちは。エムスリーエンジニアリンググループ AI・機械学習チームで機械学習エンジニアをしている農見(@rookzeno) です。最近はgokartを使ったパイプライン開発に勤しんでます。 皆さんはgokartというものをご存知でしょうか。この記事を開く人は知ってそうですが、gokartとはエムスリーがメンテナンスしている機械学習パイプラインOSSです。もしgokartのことを知らなかった人が居たらこのgokartの記事を読んでください。 エムスリー内ではこれを全面的に利用して開発を行なっていますが、その知見は社内に閉じてるものも多いです。そこでエムスリー内でどんな感じでgokartを使ってるかというのをTitanicデータセットを利用して説明していこうと思います。 今回使用したコードはこちら github.com はじめに 全体pipelineの作成 1. データのダウンロード 2.

Luigi は、Python を使って実装された、バッチ処理のパイプラインを扱うためのフレームワーク。 Luigi でパイプラインを定義するときは、基本的には個別のタスクを依存関係でつないでいくことになる。 このとき、扱う処理によってはパイプラインは長大になると共に扱うパラメータの数も増える。 そうすると、依存関係で上流にあるタスクに対して、どのようにパラメータを渡すか、という問題が生じる。 この問題は、公式のドキュメントではパラメータ爆発 (parameter explosion) と表現されている。 luigi.readthedocs.io 今回は、このパラメータ爆発問題を解決する方法について。 なお、基本的には上記のドキュメントに解決方法が書いてあるので、そちらを読むでも良い。 使った環境は次のとおり。 $ sw_vers ProductName: Mac OS X ProductV

データオーケストレーションとは データオーケストレーションという言葉をご存知でしょうか？日本ではまだ耳慣れない言葉ですが、data orchestrationでgoogle検索すると実に3000万件以上ヒットし、世界的には十分に市民権を得ている言葉です。Databricksではデータオーケストレーションを以下のように説明しています。 データオーケストレーションとは データオーケストレーションとは、複数のストレージからサイロ化したデータを取り出し、組み合わせて整理し、分析に利用できるようにするための自動化されたプロセスです。 このプロセスでは、レガシーシステム、クラウドベースのツール、データレイクといったあらゆるデータセンターが接続されます。データは標準形式に変換されるため、理解しやすく、容易に意思決定に利用できます。 オーケストレーションとは、コンピュータシステム、アプリケーション、および

LLVMやSwiftを作ったChris LattnerがCEOをやっている会社が、Pythonの使用感とC言語並の性能を併せ持つ言語としてMojoをアナウンスした。 まだ手元で試せる状態でリリースされてはいないが、最大35000倍Pythonより速いという。 Mojo🔥 combines the usability of Python with the performance of C, unlocking unparalleled programmability of AI hardware and extensibility of AI models. Also, it's up to 35000x faster than Python 🤯 and … deploys 🏎 pic.twitter.com/tjT09U4F80— Modular (@Modular_AI) May

【5/6修正】 申し訳ございません。 もともと自分の学習用に記事の内容をまとめていて、それを公開していたのですが、無許可転載であるとのご指摘がありましたので、記事の内容を削除いたしました。 配慮が欠けていました。 申し訳ありませんでした。 元記事をお読みください。 https://www.fast.ai/posts/2023-05-03-mojo-launch.html

Be the first to get lightning fast inference speed on your GPUs. Be the envy of all your competitors and lower your compute spend.

はじめに Pythonは世界的にも人気のあるプログラミング言語ですが、実行速度については課題があります。Pythonの実行速度を高速化したい、という要求は根強く、これまでにも様々なツールや処理系が開発されています。 この記事ではMITの研究者らが開発したPythonを高速化するツール「Codon」について紹介します。 この記事を3行でまとめると： 高性能で簡単に扱えるPythonコンパイラ「Codon」 Pythonとの互換性がありながら、CやC++に匹敵する高速化を実現 実際にPythonコードが100倍速くなることを検証 Codonとは Codonは高性能なPythonコンパイラです。実行時のオーバーヘッドなしにPythonコードをネイティブなマシンコードにコンパイルし、シングルスレッドで10-100倍以上の高速化が実現できます。Codonの開発はGithub上で行われており、2021

[tool.poetry] name = "template" version = "1.0.2" description = "ロガー使用例" authors = ["Snorlax"] [tool.poetry.dependencies] python = "^3.11.0" [build-system] requires = ["poetry-core>=1.0.0"] build-backend = "poetry.core.masonry.api" # logの設定 [logging] version = 1 [logging.formatters.simple] format = "[%(levelname)s] %(name)s %(asctime)s - %(message)s " [logging.handlers.consoleHandler] class = "log