Poetryのコマンド

Poetyのコマンドは忘れがちなので、メモしておきます。


例えば、Python 3.9.8をインストールする場合。

pyenv install 3.9.8


pyenvを使用して、プロジェクトディレクトリでPython 3.9.8を使用する。

pyenv local 3.9.8


poetryプロジェクトディレクトリで、poetryの仮想環境を再作成。

poetry env use $(pyenv which python)

仮想環境が正しくアクティブになっていることを確認。

poetry shell


仮想環境がアクティブな状態で実行。

python XXXX.py

もしくは

poetry run python XXXX.py

pandasインストール時のエラー

表題の通り、Pandasを再インストール指定たら、下記のようなエラーが出ました。

AttributeError: partially initialized module 'pandas' has no attribute '_pandas_parser_CAPI' (most likely due to a circular import)

多少難儀したので、解決方法をメモしておきます。
ちなみにエラーが出力されたのはバージョンは2.2.0

解決法

まずpip uninstall pandasでアンインストールしてからpip install pandas==2.1.0で旧バージョンをインストールしたら直りました。

Pythonでよく使うコード：その３　Pandas編

publicjournal.hatenablog.com
publicjournal.hatenablog.com

Pandasの基礎

全般

qiita.com
qiita.com
qiita.com
mryksy.hatenablog.com

抽出

pythondatascience.plavox.info
列の抽出はdf.loc[:,['A','B']]でもいけるし，df[['A','B']]でもいける
deepage.net

連結

sinhrks.hatenablog.com

イテレータ

sinhrks.hatenablog.com

blog.mwsoft.jp

qiita.com
これは割とはまり易いので注意。apply後の連結はSeriesを使うべし。DataFrameだと、indexが合わないので変になる。

Jsonファイルの取り扱い

qiita.com
teratail.com
qiita.com

データの型

qiita.com

時間

ja.pymotw.com
deepage.net
sinhrks.hatenablog.com

高速化

naotaka1128.hatenadiary.jp
shinyorke.hatenablog.com
lotti.info
towardsdatascience.com

大容量を読み込む

qiita.com

Dockerによる環境構築

Docker

先日、図書館に行ったら良さげな本が置いてあったので借りてきました。最低限の機能を使いこなすために必要な知識を丁寧に解説している良書でした。

図解！ Dockerのツボとコツがゼッタイにわかる本

図解！ Dockerのツボとコツがゼッタイにわかる本

Amazon
そういえば、これまでDockerを自己流で使っていました。必要なものだけを調べるだけで、体系的には勉強していませんでした。折角なので、これを機に勉強してみます。

勉強がてらに、この記事に本書の要点をメモしておきます。

本書のメモ

環境を立ち上げる

この書籍では、まず環境を立ち上げるコマンドとして、次のものが紹介されています。

docker run --name tutorial -d -p 80:80 docker/getting-started

コマンドについては次の通り。

コマンド 説明
run コンテナを作成し、実行するコマンド。containerという単語は省略可。
name tutorial ダウンロードしたコンテナに名前を付けるための引数。今回はtutorialという名前が指定されているが、この引数を指定しない場合でも、自動的に名前が付けられる。
p 80:80 仮想コンピュータ内とホストコンピュータ側を接続するための引数。`80:80`は接続するポート番号を示しており、ホストコンピュータ側で80番ポートで接続すると、仮想コンピュータ側の80番ポートに接続される。
docker/getting-started 取り込むイメージファイルを指定するための引数。

dockerコマンドの例

本書で紹介されている代表的なコマンドについて、記載しておきます。
コンテナの停止、削除

// コンテナの停止
docker stop tutorial

// コンテナの一覧を表示
docker ps -a

// 削除
docker rm tutorial

あとは、この書籍では「すべて破棄するまでがDocker」と解説されていました。これまではあまりそういう意識が無かったです・・。作りっぱなしで放置でした。

// イメージを削除
docker image re

// イメージの一覧を表示して、存在するイメージを確認
docker image ls

Docker composeを試す

コマンドだけでは大変なのでDocker composeというDockerの立ち上げ設定書の機能があります。（ここら辺は知っている話なので、割愛）
コンテナとイメージについて紹介されていて、各々には次のような違いがあります。

  • イメージ：プログラムのもととなるファイルのようなもの
  • コンテナ：そのイメージを使って作成するもの

参考：'Docker のイメージとコンテナ: どう違う？' | CircleCI

Docker composeのyamlを編集するにあたって、ボリュームのマウントというのがあります。ボリュームというのは、OSによって定義された区切りであり、ストレージの単位の一つ。マウントの仕方については次の通りです。

  • ボリュームマウント　：Docker Engine上でマウント
  • バインドマウント　：パソコンに作成したファイルやディレクトリにマウント
  • メモリーマウント　：パソコンのメモリにマウント

Docker composeのコマンド

イメージの作成　build
docker compose build
コンテナの作成　create
docker compose create
コンテナの起動　start　、既存コンテナの再起動　restart、　既存コンテナの停止　stop
docker compose start
docker compose restert
docker compose stop
コンテナの廃棄　rm
docker compose rm
一気にコンテナを立ち上げる　up、　一式のコンテナを停止して廃棄する　down
docker compose up -d

docker compose down

// コンテナが削除されているかを確認する
docker compose images
コンテナを実行　run

runの後にはdocker-compose.ymlファイルのservice内のimage名を入力する

docker compose run httpd bash
特定のコンテナ内でコマンドを実行　exec

runとの違いは既にコンテナがupされているかどうかという違いです。対話形式のコマンドbushも立ち上げられます。新しい画面を開いてほかの操作をするのと同じ感覚でコンテナを操作できる。exitでbushから出る。

docker compose up -d
docker compose exec httpd bash

#exit
docker compose down
docker run -d -p 8001:80 docker5-1

ハンズオンで試してみる

基礎の部分を一通り読んでみたので、自分で手を動かしてみます。最近はよくPythonを使うので、Python環境を作ってみます。本書の解説とググって出てきた下記のサイトを参考に動作を試してみます。

まずは作業ディレクトリを作成する

test_docker_pythonというディレクトリを作ってみます。この中にyamlとDockerfileを置いておきます。

docker-compose.ymlは次の通りに設定しました。今回はWindows側のDドライブの中に後述のtest.pyというスクリプトを置いて、これの動作を試します。

version: '3'
services:
  python3:
    build:
      context: .
      dockerfile: Dockerfile   
    container_name: 'test_python_env'
    volumes:
      - /mnt/d/test://new_dir
    tty: true


Dockerfileも下記のように作ってみます。よく使うライブラリをインストールする、という想定で作成してみました。

FROM continuumio/miniconda3 

RUN conda create -n chemodel python==3.10

RUN conda install numpy
RUN conda install scipy

RUN conda install pandas

イメージを作成する

dockerを起動して、buildコマンドを実行します。

buildした時に、下記のようなメッセージが出力されました。

Use 'docker scan' to run Snyk tests against images to find vulnerabilities and learn how to fix them

これはこれで、一応ビルドされているっぽいです。

コンテナを作成する

背景色が見づらいですが、下記のように実行します。

コンテナを起動する

起動されていることを確認

Pythonèµ·å‹•

凄い簡単に作ったtest.pyを動かしてみます。マウントされているWindows側のファイルを指定します。

# test.py
import pandas as pd 
import os 
path ='test_csv.csv'
print(os.path.exists(path)) 
#pd = pd.read_csv(path)

トラブル

下記のようにexceコマンドが実行できないというトラブルがありました。元々は下記のようにDocker composeを書いていました

version: '3'
services:
  python3:
    build:
      context: .
      dockerfile: Dockerfile   
    container_name: 'test_python_env'
    volumes:
      - /mnt/d/test://new_dir

これだと、ただbashを実行しただけで終わってしまいます。 State が「Exit 0」（正常終了）で終わっています。

なので、下記を参考にttyを入れました。
teratail.com
もしくはdocker compose startを忘れても同じメッセージが表示されます。

その他

code .でVs codeからもbashが使えます。

WSL2にDockerをインストールする

Docker Python3.X

去年の夏くらいに条件付きでDocker Desktop有償になりました。誤って有償の条件に当てはまっていたら面倒なので、無償の方法を模索して環境構築をしました。
あの時はネットの記事を調べて断片的に実施していったものの、まとまっている記事がなかった気がします。そのせいか、最近PCを変えてDocker無償環境構築をしようとおもってもどうやったのか忘れました・・・。
なので、Dockerの環境構築の方法をメモしておきます。加えて、最近は良くPythonを使うので、Visual Studio CodeとJupyter Notebook上でPythonを使う方法を書いておきます。

WSL2をインストールする

ここら辺は公式ドキュメントやQiita記事を読んだほうが分かりやすいです。とくにハマるところも無いし。転記するのも面倒なのでリンク先を参照のこと。
www.kagoya.jp
qiita.com
【Note】

  • 昔インストールしたときはMicrosoft storeから「Ubuntu 20.04 LTS」をインストールした

Docker環境を構築する

Docker Engineをインストールする

この辺もリンク先を参照のこと。
docs.docker.com

Docker Engineを起動する

# èµ·å‹•
sudo service docker start
# 状態確認
sudo service docker status
# 動作確認
sudo docker run --rm hello-world

Visual Studio Codeを起動する

learn.microsoft.com

Visual Studio Codeを起動する

code .

zenn.dev
qiita.com

Dockerfile作成

Dockerfileの例

デスクトップのファイルを呼び出す

teratail.com
detail.chiebukuro.yahoo.co.jp
ja.stackoverflow.com
mecobalamin.hatenablog.com
i-doctor.sakura.ne.jp
teratail.com
zenn.dev

参考

zenn.dev
zenn.dev
zenn.dev
qiita.com
一般ユーザーへの権限付与
www.mwsoft.jp
zuma-lab.com
docs.docker.jp
zenn.dev

Pythonライブラリに関するチートシート

Python3.X Pandas

以前からプログラミング作業効率化のために、Pythonでよく使うライブラリについてまとめていました。
publicjournal.hatenablog.com
publicjournal.hatenablog.com

最近、チートシートがTwitterで流れてきたので、リンクを貼っておきます。

チートシートリンク

Pandas

github.com

Matplotlib

github.com