先日、以下のような地図を表示するOGP画像の生成しました。 このサイトの特性上、このような画像を個別に準備する必要があり、大量の地図画像ファイルを生成しなければいけません。 外部のOpenStreetMapの地図タイルサーバを使うと時間もかかり高負荷をかける可能性があり迷惑にもなりますので、ローカル環境でOSMのタイルサーバを準備してそれを使って地図画像を生成できるようにしてみました。 具体的には、以下の手順で行いました。 OpenMapTiles で MBTiles ファイルを作成 tileserver-gl でタイルサーバを起動 StaticMaps で地図画像ファイルを生成 地図タイルデータ準備 OpenMapTiles を使って日本のタイルデータを作成します。 あらかじめ Docker を使えるようにしておいてください。 まず、以下の実行して OpenMapTiles が動くかどう

JVMにチューニング項目は多々あれど、プロダクションで運用する際に予めおさえておきたい項目をまとめてみるエントリです。*1 勿論、OSもJVMもデフォルトである程度のパフォーマンスは発揮でき、計測を伴わないチューニングは悪手であることはよく知られています。 しかし、設定しておかないとパフォーマンスにそのまま影響すると分かるものを調べないのは裸で戦場に赴くようなものです。*2 どんな項目をどう変更すれば良いのか知っていることは重要な武器なのです。 なぜ調べるのか 今回、チューニングポイントを調べるにあたって、私のモチベーションはどこにあるのかを考えると、以下の要件を満たしたいということがあげられます。 アプリケーションとして求められる品質水準として動作する → 性能目標 異常時に事象を追うことができる ここでいう品質水準・異常とは、パフォーマンスが明らかに低い、アプリケーションがクラッシュす

システムの保守・運用を行うインフラエンジニアにとって、障害対応は最も責任のある仕事のひとつであり、障害の監視や通知に関するツールは「PagerDuty」や「Zabbix」が有名です。そうした障害対応を助けてくれるツールとして、Netflixが無料のオープンソースソフトウェア「Dispatch」を公開しました。 Introducing Dispatch - Netflix TechBlog https://netflixtechblog.com/introducing-dispatch-da4b8a2a8072 About - Dispatch https://hawkins.gitbook.io/dispatch/ Netflix Dispatch - Reviews, Pros & Cons | Companies using Netflix Dispatch https://stack

SpotifyがミスによりKubernetesの本番クラスタを二度も削除。しかし顧客へのサービスにほとんど影響しなかったのはなぜか？ 今年、2019年5月20日から3日間にわたりスペイン バルセロナで開催されたKubeCon＋CloudNativeCon Europe 2019の基調講演では、SpotifyがミスによってKubernetesのクラスタを消去してしまった経験を振り返るという非常に興味深いセッション「Keynote: How Spotify Accidentally Deleted All its Kube Clusters with No User Impact - David Xia」（基調講演：SpotifyはいかにしてKubernetesクラスタの全削除というミスにもかかわらず顧客への影響を引き起こさなかったのか？）が行われました。 障害が起こることをあらかじめ計画とし

composeファイルのバージョン2以降で、YAMLのトップレベルにvolumes:を置いてボリュームの定義をし、service:内でそのボリューム名を指定するという書き方ができます。 version: "2" services: database: image: mariadb:10 volumes: - datastore:/var/lib/mysql ...(略)... volumes: datastore: Docker EngineやDocker Composeのドキュメントを見るとこんな感じで書いてあるかと思います。この書き方だとdatastoreはlocalというドライバを使用して/var/lib/docker/volumes/datastore/_dataあたりのディレクトリをコンテナ内にマウントするという動作になります。 消えちゃう問題 この方式は各サービスのvolume

bitnami redmine 一時的にしか使わないから。 そんな理由で、さらっとインストールが完了する bitnami Redmine を使っていました！ はい。当時は重宝しました！ その後、プロジェクトは長引き・・・ Redmineの保守もしていかなくてはいけない状態。 運用エンジニアとしては、Redmineのアップデートにも簡単に追随したくなるものです・・・。 でも、bitnami-redmine ほぼすべてのコンポーネントを内包しているのと、独自設定を入れたりしていると なかなかに アップデートが大変 でした。 前提条件 まずは前提条件を整理しますね。 Docker Host ・・・ Container Linux(CoreOS) Redmine ・・・ Dockerホストとファイル共有出来る、簡単にアップデート可能(メンテナンス性重視) Redmine plugin ・・・ いく

Spring BootによるAPIバックエンド構築実践ガイド 第2版 何千人もの開発者が、InfoQのミニブック「Practical Guide to Building an API Back End with Spring Boot」から、Spring Bootを使ったREST API構築の基礎を学んだ。この本では、出版時に新しくリリースされたバージョンである Spring Boot 2 を使用している。しかし、Spring Boot3が最近リリースされ、重要な変...

最近dockerが流行ってきてて自分もdocker使ってなんかやりたいなーと思ってなんちゃってオートスケーリングシステムを作ってみた。 全体図 最初にざっと全体図 システム全体の概要はこんな感じ 各ツールの役割は以下のとおり。ちなみにOSはCens OS 役割 ツール 今回使用したバージョン Load Barancer HAProxy 1.4.24 リソース管理 Mesos 0.19.0 仮想マシン Docker 0.11.1 負荷監視 Zabbix 2.2 簡単にいうとZabbixでDocker上で動いているサーバの平均CPU使用率を監視して、負荷が一定以上になったらサーバを増加、一定以下になったらサーバを減少させる。 どの物理サーバに新しいdockerコンテナを作成するかはMesosに任せる。 各部品の説明 HAProxy webサーバのロードバランサー 設定ファイルにIPを追加するこ

こんにちは！システムエンジニアのリョータです。 社内ではプロジェクト管理にRedmineを利用しています。 Redmineのインストールには、Ruby／Passengerのインストールや沢山の設定が必要でかなり面倒です。 バージョンアップの作業もなかなかやらないこともしばしば。 そういった面倒を解消し、プラグイン追加やバージョンアップを気軽に行うため、Docker上に構築しています。 その構築手順をまとめてみました。 Dockerで管理するときの参考にしてください！ 環境 この記事は、以下の環境で確認しています。 CentOS 7.3 Docker 1.10.3 sameersbn/redmine:3.3.1 sameersbn/mysql:latest (MySQL 5.5) ※CentOS 6ですとDockerは1.8以上はサポート外のようです。ご注意を。 手順 ネットワークの設定や各

ども、大瀧です。 データベースやクラウドストレージにアクセスするために、DockerコンテナでパスワードやAPIトークンキーなどのいわゆるクレデンシャル(資格)情報を扱うことがあります。これらの情報の扱い方についていくつかパターンを挙げ、考察してみたいと思います。 TL;DR(要点) DockerイメージやDockerfileに埋め込むのはアンチパターン コンテナ実行時に環境変数で渡すのがメジャー。しかしクレデンシャル管理が不要になるわけではない コンテナ実行時に外部から動的取得するのがおすすめ。クラウドのメタデータサーバーの利用がお手軽 クレデンシャル情報とは クレデンシャルは、コンテナから外部のデータソースにアクセスするための資格情報を指します。典型的なクレデンシャルとして以下があります。 DBユーザー名とDBパスワード : dbuser/dbpass WebサービスにアクセスするAP

Dockerはシステム界隈に大きな衝撃を与えました。それはシステム管理にとってはまさに大躍進だったのですが、Dockerには、少々、致命的な誤解があるのです。 非常に限定されたアドバイス ここで取り上げるDocker議論は、ほぼミッションクリティカルなシステムにおけるマルチホストのセットアップに限定されたものです（Webサービスが主）。それを念頭においてください。でないと、私からのアドバイスは、他のケースには、おそらく意味をなさないでしょう。 Dockerの背景 この記事では、Dockerとは何か、Dockerの一般的な動作については、すでに基本的な知識がある前提で話を進めていきます。 Dockerについて、すべてを網羅するのは、この記事の目的の範疇を越えてしまうので、Dockerについて、自分は初心者だという方は、まずは以下のサイトに目を通してください。 Dockerとは何か？ Dock

Containers on Windows documentation Windows containers allow users to package applications with their dependencies and leverage operating system-level virtualization to provide fast, fully isolated environments on a single system. Learn how to use Windows containers with our quick start guides, deployment guides, and samples.

Docker事始め作業ログ やってみよう系の記事は既にチラホラあるけど、手元の環境に合わせて書き直したただの作業ログ。 Dockerとは 従来のような物理的な仮想化ではなくコンテナ型仮想化を実現するソフトウェア 例えばLinuxの上に独立したLinuxをシステムを起動できる ハードウェアをシミュレートするのではなくLXCという技術を使ってリソースを隔離する ファイルシステムやプロセス・CPUを共有するので省メモリ・低コストで仮想化できる ざっくりこのような感じだが、パッとこない場合は以下の記事が参考になる。 15分で分かるLXC（Linux Containers）の仕組みと基本的な使い方 クラウド時代のオープンソース実践活用 | 第41回　Linuxコンテナ(LXC)の基礎をまとめ直す Mac OS XにDocker環境を準備する 以下のものをインストールする必要アリ。公式で配布されている

以下、ざっくり説明していきたいと思います。 > Web Server/Workerの移行Web Server/Workerの移行 従来はHeroku(US region)にサーバがあったため、日本からのアクセスの場合チューニングをどう頑張っても数百msの遅延がありました。これをAWS(Tokyo region)に移行することで、ページを表示するのに要する時間が1/2 ~ 1/3まで改善されました。 > DockerDocker 移行開始直後は自分が不慣れなこともあり、このタイミングでDockerを採用する気はありませんでした。しかし、実際にECS上でのデプロイを検証したり、Dockerについて学習するうちに移行のイメージが掴めてきたのでDockerを採用することにしました。 もともとHerokuで動いていて The Twelve-Factor App にほぼ沿っていたので、やってみるとDo

技術部の鈴木 (id:eagletmt) です。 クックパッドでは一部の Web アプリケーションサーバで Docker が使われており、今回はそのデプロイ方法について紹介します。 Docker で Web アプリケーションをデプロイするときには、まだまだベストプラクティスがある状況ではありません。 たとえば、どのように無停止でデプロイするか、どのようにコンテナと通信するかといった問題があります。 最初に Apache Mesos と Marathon などのツールを検証しましたが、クックパッドの環境において使いやすそうなものはなく、最終的に自前でデプロイのしくみを作ることにしました。 しかし Docker 周辺のツールは様々な新しいものが出てきている最中です。 今はまだベストなものが無いけれども、近いうちによりよいものが出てくるかもしれません。 そのため、できるだけ単純なしくみにしておく