はてなブックマーク

Postfix から Amazon SES 経由でメールを送る場合、通常であれば SMTP credentials を作成したうえで Postfix から Amazon SES の SMTP endpoint へリレーを設定します。 Amazon SES とPostfixの統合 - Amazon Simple Email Service Classic が、やんごとなき理由によりこの方法が使えなかったときのために Postfix から SES API の SendRawEmail でメールを送信してみました。 master.cf で ses トランスポートを定義する master.cf に次のように追記して sqs トランスポートを定義します。 sqs unix - n n - - pipe [email protected] user=nobody

下記の記事のように複数行に対する UPDATE は BEGIN の無い 1 文でもデッドロックすることがあります。 UPDATE1文だけでもデッドロックするという話 - tmtms のメモ これを見て思ったのですが INSERT であればバルクではない 1 行だけでもデッドロックすることがあります。 次のようなテーブルを用意します。 create table s ( sid int not null primary key ); create table t ( id int not null primary key, sid int not null, foreign key (sid) references s (sid) ); 次のクエリでデッドロックします。 insert into t values (1,1); 実際に試してみます。次のように INSERT を並列にたくさん実行し

ずいぶん前に Docker Desktop (Docker for Windows) のために Hyper-V を有効にしたため VirtualBox が使えなくなりました。それに伴って Vagrant も使わなくなりました。 最初は Vagrant が使えなくなるのは辛いかな・・と思っていたのですが、開発系の作業は Docker で事足りているし、サーバ系の作業でどうしても Docker では足りないときは KVM (virt-install) とか EC2 にインスタンスを作るなどすればいいので、Vagrant が使えなくなってもそれほど困りませんでした。 ただ、Vagrant でローカルの VirtualBox に環境を作るのと比べると KVM に virt-install でセットアップしたり EC2 インスタンスをマネジメントコンソールや CLI で作るのは作業のステップが多くて

CentOS 8 が2021年末に終了し、それ以降も使うなら CentOS Stream に切り替える必要があるとのことなので、適当なサーバを CentOS 8 から CentOS Stream に切り替えてみました。 まずは元の CentOS 8 を最新に更新しておきます。セットアップ後にしばらく放置していたのと、丁度 8.2 から 8.3 へのアップデートも入っていたので、結構な量の更新がありました。 cat /etc/centos-release #=> CentOS Linux release 8.2.2004 (Core) dnf check-update dnf update -y #=> : #=> Install 15 Packages #=> Upgrade 223 Packages #=> : cat /etc/centos-release #=> CentOS Lin

ずいぶん前に Docker Desktop (Docker for Windows) のために Hyper-V を有効にしたため VirtualBox が使えなくなりました。それに伴って Vagrant も使わなくなりました。 最初は Vagrant が使えなくなるのは辛いかな・・と思っていたのですが、開発系の作業は Docker で事足りているし、サーバ系の作業でどうしても Docker では足りないときは KVM (virt-install) とか EC2 にインスタンスを作るなどすればいいので、Vagrant が使えなくなってもそれほど困りませんでした。 ただ、Vagrant でローカルの VirtualBox に環境を作るのと比べると KVM に virt-install でセットアップしたり EC2 インスタンスをマネジメントコンソールや CLI で作るのは作業のステップが多くて

とある社内用のツールで Silex を使っていたのですが、随分前に DEPRECATED になっている ので、Slim4 にリプレースしました。 Silex からの移行なら Symfony Flex では？ という気もしますが特に深い理由はありません。もともと極小さいアプリでフレームワークなんて何でも良い（無くても良い）ぐらいのものなので、たまたま Slim4 を使ってみよー、と思っただけの理由です。 環境 PHP 7.4.10 slim/slim 4.5.0 slim/slim-skeleton 4.1.0 インストール composer でスケルトンからプロジェクトを作ると手っ取り早いです。 composer create-project slim/slim-skeleton my-slim-app cd my-slim-app php -S localhost:8080 -t pub

トースト通知というの？ いくつかツールを試してみたメモ。 Growl For Windows Windows 10 の通知ではなく独自の通知が実装されています。 Chocolatey でサクッとインストールできるかと思いきや、インストールに失敗します。 https://chocolatey.org/packages/Growl こっちからインストーラーをダウンロードすれば OK です。 https://github.com/briandunnington/growl-for-windows Growl 自体はわかりませんが Growl For Windows はもメンテされていないようです。 notifu https://www.paralint.com/projects/notifu/ コマンドラインで使うことが想定されたものだと思いますが /v や /? でダイアログが表示される。。。

[Loki]Grafana Loki を素振りしたメモ Grafana Loki が ちょっと前に v1.0.0 がリリースされて GA になっていた ので素振りしました。 試したバージョンは v1.2.0 です。Kubernetes とかはよくわからないのでスルーしてます。 概要 Grafana Loki は Grafana Labs で作られているログストレージ＆クエリエンジンです。単体だとログを貯めるしかできませんが Grafana でデータソースとして指定して貯めたログを閲覧できます。 Loki へログを送るには Promtail というエージェントを使います（他にもいくつか公式でサポートされている方法はあります）。 似たようなプロダクトでは「EFKスタック」として知られる ElasticSearch/Fluentd/Kibana が有名です。 Grafana と Loki Gra

MySQL で行ベースレプリケーションしていて、特定の操作を行ったときにレプリケーションがエラーで止まる事象が発生しました。 そのときの調査のログや対応の方法のメモ。 原因調査 まず、レプリケーションのスレーブでレプリケーションの状態を見ました。 mysql -e 'show slave status \G' 以下は抜粋です。 Master_Log_File: binlog.000225 Read_Master_Log_Pos: 42626469 Relay_Master_Log_File: binlog.000216 Slave_IO_Running: Yes Slave_SQL_Running: No Exec_Master_Log_Pos: 66177326 Last_SQL_Errno: 1032 Last_SQL_Error: Could not execute Delete_r

本番環境は MySQL のマスターとリードレプリカのスレーブで構成されているものの、ローカル環境はシングル構成なこと、よくあります。 そういうとき、レプリケーション遅延が原因による不自然な表示・・不具合が生じることがあったりするので、docker-compose なローカル環境でもサクッとレプリケーション環境を用意する方法。 Docker Hub のオフィシャルの MySQL イメージならコンテナの /docker-entrypoint-initdb.d/ にシェルスクリプトを置いておけば初回開始時に自動的に実行されるので、これを利用します。 docker-compose.yml 環境変数 MYSQL_REPLICATION_USER MYSQL_REPLICATION_PASSWORD でレプリケーションのユーザー名・パスワードを指定します。MYSQL_REPLICATION_HOST

Amazon EC2 Auto Scaling を ユーザーガイド を読みながら Terraform で素振りしたメモ。残骸はこちら。 Launch Configuration と Launch Template Auto Scaling で起動する EC2 インスタンスを定義する方法は下記の複数があります。 Launch Configuration Launch Template Launch Configuration より Launch Template のほうが後発で、以下のような違いがあります。 Launch Configuration は Auto Scaling 専用なのに対して Launch Template は他の用途にも使用できる Launch Template から直で EC2 インスタンスを作成したりできる Launch Template はバージョン管理されるので

だいぶ前に Qiita で virt-builder でゲストを作って virt-resize でリサイズして virt-customize でカスタマイズ という記事を書いていて。 virt-builder ふむふむ便利そう、だがしかしなんか気に入らないので普通にゲスト作るときはやっぱ Kickstart だわ と思ったはずなのだけど、なにが気に入らなかったのか忘れてしまったのでそのメモ。 virt-builder でサクッとゲストを作る virt-builder という libvirt 管理下の KVM などの仮想環境にサクッとゲストを作るコマンドがあります。libguestfs-tools-c パッケージに含まれているのでインストールします。 yum -y install libguestfs-tools-c まずはゲスト用のボリュームを作成します。 lvcreate vg1 -n

公式のドキュメントを読みながら素振りしました。 MySQL :: MySQL 8.0 Reference Manual :: 18 Group Replication グループレプリケーションでは、グループのメンバシップ管理、ノードの障害検出、追加ノードの同期、などが自動で行われます。一方でアプリケーションからの接続先をルーティングするような機能はないため、アプリケーションがクラスタのどのノードに接続するかの制御には別のなにかが必要です（MySQL Router とか HAProxy とか）。 Configuration グループレプリケーションのための my.cnf の抜粋です。 # GTID レプリケーションに関する設定 # もちろん server_id はノードごとに固有の値が必要 server_id=1 gtid_mode=ON enforce_gtid_consistency=O

とある MySQL のダンプファイルをインポートしようとしたところ、次のような警告が表示されました。 Warning (Code 1300): Invalid utf8 character string: 'FFFFFF' インポートに失敗しているわけではないですがやや気持ち悪いです。 原因 blob とかのバイナリを含むテーブルを mysqldump して mysql でインポートしようとしたためです。 create table t (x blob, z text); insert into t values (x'FFFF0123456789ABCDEF', 'あいうえお'); select hex(x), z from t; +----------------------+-----------------+ | hex(x) | z | +---------------------

半年くらい前に社内の勉強会っぽい何かで話すために書いていたけど結局やらずにお蔵入りしたメモ。 半年くらい前なのでわりと古いです Prometheus は単体だとダウンサンプリングができないので長期のデータ保持には向いていません。デフォルトだと 15 日しか保持しないし、もっと長期に渡って保持するように設定すると凄まじい量のストレージを喰います。 他のリソース監視・可視化ツールであれば、5 分毎のデータを 1 日保持、30 分毎のデータを 1 週間保持、2 時間毎のデータを 1 ヶ月保持、1 日ごとのデータを 1 年間保持、のように段階的に粒度を荒くしたデータを長期に保持できるようになっていたりします。 Prometheus の場合、データの粒度と保持期間が異なる別の Prometheus を用意して Prometheus -> Prometheus とデータを流したり（Federation

9ヶ月ぐらい前？に社内の勉強会っぽいなにかで話そうと思ってたけど結局やらなくてお蔵入りになっていたメモ。 このとき試した Prometheus はだいぶ古いです・・・たぶん 1.5 ぐらいです。今が 2.0 とかなので色々変わっていると思います メモ 監視対象でエージェントを実行してマネージャーが HTTP でメトリクスを取得するいわゆる PULL 型 エージェントは Exporter と呼ばれる ワンバイナリで他に依存もない インストールが超楽 標準的な Exporter がデフォでめちゃくちゃいろんなメトリクスを取ってくる とりあえず収集して、必要に応じでアラートとか可視化とかする、というメンタルで使える あらかじめ監視設計を難しく考えなくてもとりあえず始めることができる 外形監視や SNMP 監視もできることはできる 外形監視や SNMP 監視のための Exporter がある その

Jenkins で PHPUnit 実行時に出力したカバレッジレポートを Jenkins 上で閲覧できるようにしているのですが、同じことを Gitlab CI でやるときのメモ。 Jenkins の場合 Jenkins なら HTML Publisher plugin でサクッと PHPUnit のカバレッジレポートを公開できます。 ビルドで↓のようにカバレッジレポートを HTML で出力して、 vendor/bin/phpunit --coverage-html=coverage/ # or phpdbg -qrr vendor/phpunit/phpunit/phpunit --coverage-html=coverage/ ビルド後のアクションで↓みたいに公開するディレクトリを指定すれば OK です。 // jenkins dsl job('test') { : publishers

手元にあった PHP 7.1.10 で試してます。 PHP の配列で、連想配列なのかいわゆる添字が順序通りのただの配列なのかを調べるには、下記の方法が一番手っ取り早いと思います。 array_values($arr) === $arr; がしかし、配列の === は配列の要素の値の比較も行われるため、これだと配列の中に超でかい文字列や配列が入っているときに超遅くなります。 比較する必要があるのはキーだけなはずなのに配列の要素の値に依存して実行時間が変わるのはイケていないので array_keys でキーだけ取り出して比較したり愚直に foreach で回す方が良いですね・・・そんなふうに考えていた時期が俺にもありました。 いろんなパターンでベンチして最適な方法さがすぞー！と意気込んだところ↑のパターンが概ね良好でした（要素数が少ないときや早期にミスマッチが判断できるときは foreach

下記↓の記事のコメントの通り、 PHPUnitの$this->assertXXXX() の別記法 - Qiita PHPUnit には Functions.php というファイルが含まれていて、これを require するとアサーションなどがグローバル関数に登録されるので、次のようにテストを書くことができます。 <?php // 普通こう書くけど、 $this->assertThat($actual, $this->equalTo($expect)); // Functions.php を読んどけばこうも書ける。 assertThat($actual, equalTo($expect)); とても便利なんですけど Functions.php は明示的に読む必要があります。 <?php require_once __DIR__ . '/vendor/phpunit/phpunit/src/F

MySQL の sql_mode で NO_ZERO_IN_DATE,NO_ZERO_DATE とかを指定すると 0000-00-00 や、月や日が 00 などの日時の挿入を禁止できます。 MySQL の NO_ZERO_DATE と NO_ZERO_IN_DATE で無効な日時を禁止 がしかし、年が 0000 の場合の動きが謎いです。 MySQL のバージョンは次の通り。 select version(); /*-----------+ | version() | +------------+ | 5.7.19-log | +-----------*/ SQL モードを指定します。 set session sql_mode = 'STRICT_ALL_TABLES,NO_ZERO_DATE,NO_ZERO_IN_DATE,ERROR_FOR_DIVISION_BY_ZERO'; sele

PHP 7.1.7 Apache 2.4.10 ApacheBench 2.3 zend-expressive 2.0.3 zend-expressive-skeleton 2.0.3 zend-diactoros 1.4.0 zend-stratigility 2.0.1 Docker で Apache+mod_php を実行して、 docker run --rm -p 8888:80 -v "$PWD:/var/www/html" php:apache header 関数で HTTP/1.1 を指定するコードを配置して、 <?php header('HTTP/1.1 200 OK'); 次のように ab します。 ab -c 1 -n 1 http://localhost:8888/ すると、なんか異様なスコアになります（1回のリクエストに5秒もかかってる）。 Requests per

これまで PHP のアプリケーションのデプロイは rsync でどべーとコードを撒いていました。が、それだと新旧のコードが混在するし Capistrano とかはデフォでシンボリックリンク切り替えでアトミックなデプロイになっているし、周回遅れな感じもしますが今後は似たような方法でデプロイしたいと思います。 releases/ ディレクトリの中にリリースタグでディレクトリを掘ってコードを配置して current を最新のリリースのディレクトリへのシンボリックリンクにします。そして Apache や Nginx でドキュメントルートを current の中の公開用のディレクトリに設定します（/path/to/app/current/public とか）。 /path/to/app/ releases/ 20161213/ 20161224/ 20170101/ current -> relea

WEB+DB Press vol.84 読んでて知った、シンボリックリンクのアトミックな入れ替え。 $ mkdir 1 $ touch 1/1.txt $ mkdir 2 $ touch 2/2.txt $ ln -s 1 cur $ strace ln -sfn 2 cur lstat("cur", {st_mode=S_IFLNK|0777, st_size=1, ...}) = 0 lstat("cur", {st_mode=S_IFLNK|0777, st_size=1, ...}) = 0 stat("2", {st_mode=S_IFDIR|0755, st_size=60, ...}) = 0 symlink("2", "cur") = -1 EEXIST (File exists) unlink("cur") = 0 symlink("2", "cur") = 0 $ mk

Jenkins からの移行のために今更だけど使ってみたメモ。 なお、うちの Gitlab はソースから入れていてデータベースも MySQL です。たまにしかバージョンアップしていないのでちょっと古いです(8.17.2)。 参考 https://docs.gitlab.com/ee/ci/ 公式のドキュメント https://docs.gitlab.com/ee/ci/yaml/README.html .gitlab-ci.yml のリファレンス https://docs.gitlab.com/ee/ci/runners/README.html Runner のドキュメント https://docs.gitlab.com/runner/ 公式の Runner の実装のドキュメント https://gitlab.com/gitlab-org/gitlab-ci-multi-runner ↑のリ

rsyslogd - reliable and extended syslogd 信頼できる拡張された syslogd Remote syslogd ではない（syslogd 時代からリモートからの受信は可能） 設定ファイル 設定ファイルは /etc/rsyslog.conf ですが、このファイルで下記の通りに記述されているので、 $IncludeConfig /etc/rsyslog.d/*.conf /etc/rsyslog.d/ の拡張子 .conf のファイルもマージされます。 /dev/log /dev/log という Unix ドメインソケットに書き込めばログを送ることができます。 echo "<133>$(LANG=C date '+%b %d %H:%M:%S') oreore: XXX" | nc -Uu /dev/log CentOS 6 の nc だと -u と -U

DockerHub の言語系のイメージは（alpine のもあるけれども）debian ベースのものが多いですが cron でスクリプトを定期的に実行しようとして、 RUN apt-get update && apt-get install -y cron とかすると、 cron から実行するスクリプトにコンテナの環境変数が渡されない コンテナの開始時に環境変数をファイルに書いて cron から実行するスクリプトで読んだり スクリプトの標準出力や標準エラーがどこに行くのかよくわからない スクリプトはログをファイルに出力して tail -f したり そのログだれがローテートするの？ とか、とてもつらそうです。 ので、cron の代わりに michaloo/go-cron を使ってみたりしてたのですが、下記の記事を見まして、 alpine linuxでcron用コンテナを作る - Qiita

docker-compose で複数のコンテナで構成されている環境に対して、PhpStorm の Run/Debug で docker-compose run でテストなどを実行できるようにしたときのメモ。 PhpStorm 2016.1 ぐらいから Remote interpreter に Docker が追加されており、PhpStorm の Run/Debug で「コンテナ作成＆スクリプトやテスト実行」ができるようになっています。 Xdebug を実行する PHP のイメージにインストールしておけばデバッガでアタッチすることもでき、非常に便利そうですが・・・ 単一のイメージから単一のコンテナを作成して実行するだけなので、docker-compose などで複数のコンテナ（DBとか）を実行する構成だと Run/Debug でテストを実行したときに DB が無くてテストがコケます。 doc