気づいたらコンテナ環境を運用することになっていた新人SREの原田くんが、Dockerでコンテナイメージをビルドするところから始まり、AWS上で実際にコンテナを動かせるようになるまでの道のりを紹介します。そもそもなぜコンテナなのか？動かしたあとのCICDをどうするかなども取り上げます。またEKSやKube…

こんにちは、Sally社 CTO の @aitaro です。 マーダーミステリーアプリ「ウズ」とマダミス制作ツール「ウズスタジオ」、マダミス情報サイト「マダミス.jp」を開発しています。 はじめに この記事ではウズの開発当初から利用していた Docker Compose をやめることにした背景についてご紹介します。 Docker Compose は各マシンの開発環境での差異を吸収するというメリットがあり、多くの開発現場で導入されていますが、Docker Composeの抱えているデメリットを勘案して、最終的に一部を残して辞める決断をしました。 Docker Composeの特徴 Docker Composeは、複数のコンテナを定義し、管理するためのツールです。ウズの開発環境では、バックエンド、フロントエンド、データベースなどをそれぞれコンテナ化して、Composeで一括管理していました。こ

概要 前提 規約 コンテナはエフェメラル(短命:ephemeral）であること .dockerignoreを有効活用する 不要なパッケージのインストールを避ける コンテナ毎に1つのプロセスだけ実行 レイヤーの数を最小に 複数行の引数はアルファベット順、改行すること Docker network 概要 bridge none host overlay ipvlan macvlan Docker Volume 概要 bind mount volume tmpfs mount Dockerfileを扱う まずはDockerfileを作成する！ FROM:ベースイメージを作成 RUN: 任意のコマンドを実行する WORKDIR: ワークディレクトリを追加する レイヤーの確認 コンテナの生成と停止 imageを作成 runでコンテナを起動 stopでコンテナを停止 pruneでDockerのお掃除

TL;DR docker runでは-itオプションをつける docker-composeではyamlにtty: trueとstdin_open: trueを書く 処理が終わるとDockerコンテナは終了 Dockerコンテナを起動したままにするにはitオプション Docker Compose の場合は設定ファイルに書く まとめ 処理が終わるとDockerコンテナは終了 通常、dockerコンテナは起動したらそのまま終了してしまいます。 DockerfileにCMDを指定することで、コマンドを実行させることができますが、その指定されたコマンドが終了すると、やはりdockerコンテナは終了してしまいます。 しかし、dockerコンテナを起動したままにしておきたいときもあると思います。 例えば、コンテナ内に入ってコマンドを打ち込みたいとき、等があります。 そのようなときに、dockerコンテナ

VSCodeで Import "***" could not be resolved Pylance(reportMissingImports) が出るときの対処法PythonVSCode いろんな環境で同じエラーを吐いていたので、備忘録として残す。How to solve Pylance 'missing imports' in vscode を参考にした。 私の場合、venv で sandbox という仮想環境を作成し、そこにインストールした airflow をインポートする際に標題のエラーが発生していた。インストール先にパスが通っていないことが問題らしいので、追加してやればよい。 まず該当するライブラリの場所を確認する。

概要 Docker 環境下で Poetry ＋ VS Code + Pylance にて開発を進めている時に、Pylance の import のパス解決設定でハマったので備忘録として残しておきます。 設定方法 （必要であればだが、非推奨）仮想環境を無効化

Dockerコンテナの概要と利点 コンテナでぐぐると、「仮想サーバー技術がうんたらこんたら〜」と出てくるが、それは忘れていいというのから衝撃を受けた。笑 それから入る情報が多かったので、（正直意味不だった） 一言で、コンテナとは「互いに影響しない隔離された実行環境を提供する技術」 もっとシンプルに考えていい。難しく考えようとしていた →システムの実行環境を隔離した空間のこと 例）システムAとシステムBは、コンテナがあれば例えば、共通のフレームワークをアップデートしたりしても互い影響はない コンテナの特徴は、「独立」していること（ここで言う独立とは単体で完結していること） １台のサーバーにシステムが複数あっても競合しないこと コンテナを実現するソフトの代表が「Docker」 DockerはLinux上で動作するソフトで、Linuxに「Docker Engine」をインストールするとDocke

今回はDockerイメージの軽量化に関する知見がたまってきたので、実際にイメージサイズを小さくしながらどのような方法があるのか紹介したいと思います こんにちは！PlayGroundでバックエンドとインフラを触っているこのぴーです 今回はDockerイメージの軽量化に関する知見がたまってきたので、実際にイメージサイズを小さくしながらどのような方法があるのか紹介したいと思います 軽量化していないと何がダメなの？ 軽量化していない時のデメリットをいくつか挙げたいと思います ローカルのストレージを圧迫する Docker HubやAWS ECRなどのレジストリにpush/pullする際に時間がかかる ビルドに時間がかかる レジストリからpullする時間が多くなるとデプロイやスケールアウトする際に待ち時間が多くなってしまいます このほかにも様々なデメリットがあると思いますが、パッと思いつくだけでこれだ

前回の投稿ではリポジトリパターンの導入と依存性注入を行い、APIエンドポイントをPostgreSQLと接続させました。 今回の投稿では前回までに作成した構成でユニットテストを行うための土台作りをし、いくつかのテストケースを実装します。 方針として、テストで使用するPostgreSQLはテスト開始時に使い捨ての専用のコンテナを新規で立ち上げることにします。 過去の投稿はこちらから辿ることができます。 FastAPI を使ってWEBアプリを作ってみる その1FastAPIとDockerでHelloWorldFastAPI を使ってWEBアプリを作ってみる その2AlembicとPostgreSQLでDB MigrateFastAPI を使ってWEBアプリを作ってみる その3APIエンドポイントをPostgreSQLに接続FastAPI を使ってWEBアプリを作ってみる その4今ここ テストにつ

tl;dr 依存パッケージのダウンロードは最初に実行しよう マルチステージビルドは必須と覚えておこう RUN --mount=type=cache を使おう（でも BuildKit を使えるかは確認して！） pnpm fetch も期待大 はじめに みなさん，Docker を使って開発するときに依存パッケージのダウンロードをずっと待ち続けた経験はありませんか？「依存パッケージの追加なんて頻繁に発生しないし，我慢しよう…」と妥協している方も多いでしょう． 頻繁に発生しない？本当にそうですか？ 追加ではなくても依存パッケージの更新なんてよく発生するし，ベースイメージを更新することもあります．その度に全部ダウンロードし直しなんて堪ったもんじゃありません．モバイル回線だったら一瞬でギガがなくなっちゃいますよ！ ということで，この記事ではキャッシュを活用して依存パッケージのダウンロードが何度も発生し

Dockerfileのベストプラクティス ベースイメージには公式のレポジトリを使用する FROM命令において、　使用するベースイメージは公式のリポジトリのものを使用し、軽量なものが推奨されている。 例えば、Debian イメージなど。 FROM [--platform=<プラットフォーム>] <イメージ名> [AS <名前>] FROM [--platform=<プラットフォーム>] <イメージ名>[:<タグ>] [AS <名前>] FROM [--platform=<プラットフォーム>] <イメージ名>[@<ダイジェスト>] [AS <名前>] 複雑なRUN命令はバックスラッシュを使い複数行に分割 ここでは、RUN命令の書き方に言及しています。 RUNの最も一般的な利用例はapt-getコマンドではないでしょうか。 RUN apt-get updaate と apt-get instal

docker container run はコンテナの「作成」と「起動」docker container run（旧: docker run）は、もっとも頻繁に紹介されているコマンドですが、内部で複数のことを行うので 一番分かりにくいコマンド かもしれません。 docker container run は次のようなことを一度に実行します。 指定したイメージがなければダウンロード (docker image pull)Docker コンテナを作成する (docker container create)Docker コンテナを起動する (docker container start)例えば、次のコマンドを実行すると、Docker イメージ (ubuntu:20.04) のダウンロード、Docker コンテナ (mycon) の作成、そのコンテナの起動までを一気に実行します。 各オプションは次の

はじめに 基本的にDockerコンテナを起動し，コンテナ内に入るとrootになる． この状態でファイル作成をすると所有権がrootになり，扱いが面倒になる． 一方，コンテナ内にuserで入ることも可能だが，apt updateなどの操作が出来なくなってしまう． Dockerfileでうまいこと調整すればよいのかもしれないが，今回はコマンドだけで完結する内容を書き残す． できること 基本的にuser権限でコンテナに入ることができるようになり，root権限が必要なときは適宜切り替えることができる． 実行環境 OS: Ubuntu 20.04 LTS 1. Dockerコンテナを起動し，userで入る 以下の記事のうまくいく方法2を参考にした． dockerでvolumeをマウントしたときのファイルのowner問題 こちらの記事から対象となるコマンドを引用する．

Node.js Docker baseイメージには alpine < distroless < ubuntu+slim 構成がよさそう はじめに この記事は、DockerCon 2022 で発表された Bret Fisher の "Node.js Rocks in Docker, DockerCon 2022 Edition" を参考にしています。 base イメージの選択肢に関する話は、動画の前半一部分だけですが、他にも Node.js で Dockerfile を書く時のベストプラクティスが数多くまとまっているので、是非チェックしてみてください。 node:alpine イメージを使わない base イメージサイズを小さく保ちたい、という点で気軽に利用される事が多い alpine イメージですが、Official の README には下記の記載があります。 This variant

はじめに やめろ、ではなく、やめたほうがいい。です。自分のユースケースに合ってるか今一度確認することを推奨します。基本的にはAlpineは避けたほうが良い、というのが2021年時点での私の認識です。 なんで？ libcに一般的な互換性が不足しているからです。Ruby、Python、Node.jsなどでNativeモジュールをバンドルしているアプリケーションの場合、パフォーマンスの劣化や互換性の問題にぶち当たる場合があります。 superuser.com あとは他のベースイメージの軽量化もそれなりに進んできていて、Alpineが定番軽量イメージと言う認識は2018年頃には消えつつあったかなという認識でいます。 どうすりゃええねん ※Debian Slimがあるやんってツッコミ結構もらったんですが、Slimは当たり前過ぎてもう紹介しなくていいかなっていう甘えで省略していました。よろしくおねがい

以前dockerを使ってgoの環境構築やdockerを使ってgoの環境構築(DBと接続), docker上にgoの環境作れたと思ったけど作れていなかった話を書きました。これでgoを使ってサーバを作れるぞと意気込み作業を始めたのですが切り分けたモジュールに対して読み込んだファイルで補完が効かなかくてめちゃくちゃやりづらくて困ったので書き残します。 具体的には以下を解決します。 コンテナ上では問題なく動作するファイルに対してvscodeがエラーを示す。 vscodeでの開発で入力補完が効かない(特に自作モジュール)。 vscodeを使っている人には参考になるかもしれません。 RemoteContainers インストール remote containersはvscodeの拡張機能でDockerコンテナ上でvscodeを開くことができます。なのでエラーや入力補完などをコンテナの環境に合わせて吐い