はじめに ちょっとQuerySetの動きをみたいとか、特定のコードを動かしたいとかあるよね？Django Shellでもいいのだけど、色々試したいからちょっと面倒なのでJupyter Notebookで動かしたい。 前職でも似たようなことをやっていてその時のスニペットをメモしていなくて地味に困っていたのだけど、時間ができたので再度作成しました。 もっと短かった気もするのだけど、とりあえず動くのでOK コード import os import django # https://docs.djangoproject.com/en/3.2/topics/async/#envvar-DJANGO_ALLOW_ASYNC_UNSAFE os.environ["DJANGO_ALLOW_ASYNC_UNSAFE"] = "true" os.environ.setdefault("DJANGO_SETT

はじめに VS CodeでDev Containerを使う場合、 .devcontainer/devcontainer.json に拡張機能を書いておくことで自動でインストールされます ただ、何らかの理由によりインストールされない場合が稀によくあります 割と長くDev Container使っていますが、理由は不明です。わかる人教えてください。 再度開いたりするとうまくいく場合もあるので、私の環境問題なのかもしれない 私の環境は大体Python入っているのでPythonで記載 Pythonコード import json import subprocess from pathlib import Path p = Path(".devcontainer/devcontainer.json") with open(p) as f: jsonc_data = f.read() json_data

概要 タイトルが全て MEMORY_ONLYだと勘違いしていたためメモ persistも引数なしで呼び出すとMEMORY_AND_DISKなので同じ https://spark.apache.org/docs/3.2.0/api/python/reference/api/pyspark.sql.DataFrame.cache.html https://spark.apache.org/docs/3.2.0/api/python/reference/api/pyspark.sql.DataFrame.persist.html ※2021/12/17時点の最新版であるPySpark3.2.0の情報です 詳細 レベルの変更の歴史 pyspark.sql.DataFrame.cache がPySpark1.3.0で追加されたときは「MEMORY_ONLY_SER」レベル https://spark

概要 PySparkのDataFrameではjoinした際にorderは維持されない 正確にはshuffleが行われる orderは出力直前に行うのが鉄則 再現コード from pyspark.sql import SparkSession spark = SparkSession.builder.getOrCreate() df1 = spark.createDataFrame( [ ['user_01'], ['user_02'], ['user_03'], ['user_04'], ['user_05'], ], ['id'], ) df2 = spark.createDataFrame( [ ['user_01', '1'], ['user_02', '2'], ['user_03', '3'], ['user_04', '4'], ['user_05', '5'], ], ['i

概要 PySparkのDataFrameでは同名のカラムが許容される select などカラム名を指定する処理時に例外が発生する カラム名を再定義、別名を付ける事で回避が可能 再現コード 作成時にカラム名が重複 from pyspark.sql import SparkSession spark = SparkSession.builder.getOrCreate() df99 = spark.createDataFrame( [ [1, 'a', 'b'], [2, 'aa', 'bb'], ], ['id', 'c1', 'c1'], ) df99.show() +---+---+---+ | id| c1| c1| +---+---+---+ | 1| a| b| | 2| aa| bb| +---+---+---+ ※このパターンはあまりない気がする joinした結果カラム目が重複

結論 l = ['a', 'b', 'c'] s1 = f'{ {s:s for s in l} }' # 中括弧の後にスペースが必要 assert s1 == "{'a': 'a', 'b': 'b', 'c': 'c'}" s2 = f'{ {s for s in l} }' # 中括弧の後にスペースが必要 assert s2 == "{'b', 'c', 'a'}" ※setの方は順番は保証されないので↑のassertは失敗する場合がある 詳細とか fstring内でdictionaryやsetの内包表記を普通に記載すると内包表記の記載がそのまま文字列となる l = ['a', 'b', 'c'] s3 = f'{{s:s for s in l}}' assert s3 == "{s:s for s in l}" s4 = f'{{s for s in l}}' assert s4

結論 直接モジュールの変数を上書きすれば良い ただし、importされた時点でそのモジュールの変数として扱われる事に注意 ※文字で見ても良くわからないと思うので下記のコードを参照 ケース1（テスト対象に直接変数がimportされている場合） テスト対象のコード群 # a.py from define import HOGE class TargetClass: def get_hoge(self): return f"aaa_{HOGE}_bbb" # ここのHOGEを入れ替えたい # define.py HOGE = 'hoge' ユニットテスト import a from a import TargetClass def test_hoge(): a.HOGE = 'piyo' # モジュールをインポートしてモジュールの変数を直接入れ替える target_class = TargetC

概要 最近AtCoderを始めたのでPython用の環境を作りました。 割といい感じにできた気がしましたのでTemplate Repositoryにしています。これから始める方、AtCoder上で書いている方などは是非試してみてください。 一方、まだ私自身が使い込んでいないので、既に環境ある方やAtCoderをある程度やり込んでいる方には不満があるかもしれません。 何かありましたら Issue や Twitter などでご連絡頂けたら助かります。 github.com 導入ツール devcontainer VSCode, Git, DockerさえあればOK black 自動フォーマット online-judge-tools VSCode上でテストを実行 atcoder-cli AtCoder用のcliツール atcoder-python-snippets AtCoder用のスニペット あ

全然サンプル見つからなかったので誰かに役に立つかも？と、妥協点はあるもののとりあえず実装としては良さそうなのでメモ やりたかったこと 条件によって特定のAPI処理全体を切り替えたい 複数発生した場合を考えると if hogeflag: みたいな事はやりたくない この条件というのがログインユーザ毎、特定のデータの場合という事ではなく、環境変数や設定ファイルなど動作する環境毎に切り替えたい。 切り替わったら、その環境では選択されなかった処理は一切使用される事はない 具体的な例とか アプリケーションがパッケージ販売されていて、特定の環境では処理を変更したい 拡張機能などがあり、特定の処理を任意で上書きたい 対応方法 概要 DjangoのMiddlewareを使用する。 Middlewareとは、実際の処理の前後に行わせることができる処理です。hookとか言ったりします。 settings.py

概要 PySparkで保存前はstringで、読み込むとintegerにカラムの型が変わっている現象に遭遇した。 原因としてはpartitionByで指定したカラムの型は自動的に推測されるため。 パーティションのカラムのデータタイプは自動的に推測されることに注意してください。現在のところ、数学的なデータタイプ、日付、タイムスタンプおよび文字列のタイプがサポートされます。パーティションカラムのデータタイプの自動的な推測をされたくない場合があるかも知れません。 再現コード from pyspark.sql.types import * schema = StructType([ StructField('ID', StringType(), False), StructField('STR', StringType(), False), ]) df = spark.createDataFram

「ここで改行するほうがキレイで良いと思います」 『いや、私はこちらのほうがキレイ良いと思います』 コードレビューでこういう議論をしたことはありませんか？ 大切なことだとは思いますが、生産性にはあまり直結しません。議論を避けるために書き方を決めるほうが良いでしょう （個々の問題について逐次議論するのがエネルギーを無駄にしてしまいます。一度決めて、再利用するようにしたいものです）。 今日はそのために使える black というツールを紹介します （「私はflake8を使ってるから結構です」と思われるかもしれませんが、少し違う話なので読んでみてください）。 blackを使おう Pythonのコードを自動でフォーマットしてくれる black を紹介します。 github.com blackはPythonのコードフォーマッターで、自動的にPythonプログラムの書き方を修正してくれます。 PEP8 と

出力の時の話はよく記載がありましたが、読み込みの際に変換する方法はあまりなかったのでメモ。 概要 jsonでは日付型というのは定義されていません。（そもそもどう表現する？） そのため、pythonでjsonを読み込みの際に日付が含まれていても文字列になりますし、出力の際にdate型が含まれているとエラーになります。 対応方法としては読み込むためのloadsではobject_hook、出力のためのdumpsはdefaultというオプションがあるので、こちらを設定することで対応が可能です。 対応前のコード import json data = '{"date" : "2019/02/08"}' d = json.loads(data) type(d['date']) # str import json from datetime import datetime data = {'date' :

はじめに PythonsからS3をいじる際に、これまではaws cliを直接叩いていたのですが、s3fsを使用するとexistsやlsみたいなわかりやすい名称で使えるというのをどこかで知ったので使ってみた。 同名でS3をマウントするもの（ https://github.com/s3fs-fuse/s3fs-fuse ）もあるようですが、本記事でのs3fs（ https://github.com/dask/s3fs ）とは別物です。 で、キャッシュのせいかファイルを置いた直後にexistsするとFalseだったりと整合性がとれなくてハマった話です。 s3fsとは リポジトリTOPには下記のように記載されています。 S3FS builds on boto3 to provide a convenient Python filesystem interface for S3. Google翻訳す

Ask questions, find answers and collaborate at work with Stack Overflow for Teams. Explore Teams Collectivesâ„¢ on Stack Overflow Find centralized, trusted content and collaborate around the technologies you use most. Learn more about Collectives

エキスパートPythonプログラミング改訂2版 作者:Michal Jaworski,Tarek Ziade発売日: 2018/02/26メディア: 単行本 はじめに — Webアプリケーションフレームワークの作り方 in Python の資料が最近になってホットエントリー入りし、思ったよりも多くの方に読んでいただけているようです。見返しているとWSGIサーバーを作りながらHTTPについて学べる章があってもいいかもとふと思いました。書くとすれば内容的には id:shimizukawa さんのPyCon JP 2018の発表をもう少し詳しく説明する資料になりそうな気がします。 PyCon JP 2018: Webアプリケーションの仕組み - 清水川のScrapbox とはいえ自分もWSGIサーバーを一度も書いたことがないので、気分転換にシンプルなWSGIサーバーを書いてみました。 4時間ぐら

こんにちは、芝田 将 ( @c_bata_ ) です。 この資料はPyCon JP 2016で行った 「基礎から学ぶWebアプリケーションフレームワークの作り方」 の書き起こし資料です。 誤字等があれば、Issue or PRをお待ちしております。 はじめに¶ この資料では200行に満たないシンプルなWebフレームワークの作り方をボトムアップで解説します。 テンプレートエンジンとしてJinja2を使ったりもしますが、基本的にはPythonの標準ライブラリのみを使っています。 FlaskやDjango等を使ったWeb開発の経験があり、基本的なHTTPの知識があれば読み進められるんじゃないかなと思うのでぜひチャレンジしてみてください。 本資料を読み終えた方はBottleやDjango、筆者の公開している Kobin というフレームワークのコードを 読んでみたり、自分でWSGIフレームワークを実

Learn Languages 2018 というイベントで、最近のPythonについて発表してきました。 (一昨年まではLightweight LanguageでLLイベントだったのが、去年からLearn Languagesイベントになったらしい！) Python update in 2018 #ll2018jp from cocodrips www.slideshare.net せっかくなのでポイントだけでも書き起こして見ようと思います。 ここ1~2年で便利になった機能 1. The pathlib module (PEP 428) pathlibはファイルパスに関するモジュールで3.4で導入されました。 ただ、build-inのopenやos.pathモジュールがpathlib.Pathオブジェクトを受け入れられるようになったのがPython3.6(PEP519)となっています。 3.

組み込み関数の中の使えない子 pythonの組み込み関数の中に以下の3つがあります。 reduce() all() any() これらの3つを組み込み関数のわりに使いどころが少ない。使えない子たちだと認識してました。 例えばall()、any()は、各シーケンス*1内の真偽値について、名前から推測できなそうな処理を行い、結果を真偽値で返すのですが all([True,True,True]) # => True all([True,True,False]) # => False any([True,True,False]) # => True any([False,False]) # => False 比較関数を引数として渡すことができません。sortedやsortなどの関数は、比較関数を引数として取れるのに不思議なものです。リスト内の全ての要素に対して評価を与えてその結果を真偽値として欲し

はじめに PythonではPEP8というコード規約が一般的に使用されているようです。（PEP 8 -- Style Guide for Python Code） この規約に準拠したツールがいくつかあり、これ！っというものは特にないという印象です。 で、代表的なものとして、同名のpep8があるのでややこしい。 ちなみにツールの方のpep8は名前を変更してpycodestyleとなっていますので注意。（pep8は1.7.1が最終更新のようです。） 詳細はQiitaにまとまっている記事がありましたのでこちらを参照してください。（pep8 が pycodestyle に変わった話） 他にもflake8や今回紹介するPylintが競合としてあるようです。 で、今回はPylintを使用することになっていたので、こちらをVSCodeで使用する方法について調べたメモです。 手順 VSCodeでPython

結論 addした後にflushすると、addしたオブジェクトに設定されている。 【未確認】exuecuteで実行する場合には返り値から取得できる？（参考） 環境 MySQL 5.7（Cloud SQL） Python 3.6.6 PyMySQL 0.8.1 SQLAlchemy 1.2.0 コード from sqlalchemy import Column from sqlalchemy.dialects.mysql import INTEGER,TEXT from sqlalchemy.ext.declarative import declarative_base from sqlalchemy import create_engine from sqlalchemy.orm import sessionmaker Base = declarative_base() class tabl