Perl and eMail at Kansai.pm #13 Meeting in Kyoto

Kansai.pm #13@京都 / Perl and eMail - bounceHammerっていうのを作りました / Developed by Cubicroot Co. Ltd.
bounceHammer
バウンスメールを自動解析するシステム
bounceHammerというのを作りました
Perl and eMail
azumakuniyuki
株式会社キュービックルート
Kansai.pm#13
in Kyoto, 2010/11/20(Sat)

bounceHammer
自己紹介

bounceHammer ✏ なまえ = azumakuniyuki
✏ しごと = サーバ管理者 > 10 年
✏ しごと = プログラマー < 2⅛ 年
✏ おうち = 上京区
✏ ねっと = @azumakuniyuki
✏ はてな = id:azumakuniyuki

bounceHammer
E PowerBookG4
E iPhone3G
E NOKIA NM705i
ふつうのぼうし
わりときたないふく
スニーカー
E ふゆようのスーツ
E かわのくつ
そうび

bounceHammer
/usr/bin/perl -w
/bin/sh
/bin/tcsh
OpenBSD
Ubuntu
MacVim
/usr/bin/vi
/usr/lib/sendmail
LaTeX2e
どうぐ

bounceHammer
本題

bounceHammer
YAPC::Asia Tokyo 2010
で発表した内容の改訂版です

bounceHammer
バウンスメールを処理、解析、
蓄積、出力する専用システムを
作りました
Perlで

bounceHammer
bounceHammer

bounceHammer
bounceHammer?

bounceHammer
✏ ばうんすはんまーと読む
✏ バウンスメール解析専用
✏ 配信システムではない
✏ 基本的にコマンドラインツール
✏ Webの管理画面もあります
bouncehammer?

bounceHammer
bounceMail?

bounceHammer
✏ エラーで返ってきたメール
✏ 中身はだいたい英語
✏ 日本語のものもある
✏ リターンメール
✏ 不達メール
bounce mail?

bounceHammer
From:
✏ Mailer-Daemon
✏ Mail Delivery Subsystem
✏ Mail Delivery System
✏ Postmaster@...
✏ だいたい↑のどれか
http://d.hatena.ne.jp/keyword/メーラーダエモン

bounceHammer
Subject:
✏ Returned mail: see transcript ...
✏ failure notice
✏ Undelivered Mail Returned to ...
✏ Mail delivery failed: returning...
✏メールサーバによっていろいろ

bounceHammer
できること
bounceHammerが

bounceHammer
✏ バウンスメールを解析する
✏ バウンス理由特定(宛先不明/拒否...)
✏ 宛先分類(携帯/Webメール/PC...)
✏ 解析したらデータベースに蓄積
✏ 解析済みデータはYAMLで出力
Can ...

bounceHammer
バウンス理由
bounceHammerが検出する

bounceHammer
✏ 宛先不明/ドメイン指定拒否
✏ メールボックスいっぱい
✏ メールが大きすぎる
✏ セキュリティ的なエラー
✏ 配送時間切れで差戻し
✏ ほかいろいろ(16種類ぐらい)
Reasons

bounceHammer
何の役に立つ?
bounceHammerは

bounceHammer
✏ 一般的なMTAで配信している所
✏ でもバウンス処理はしていない
✏ そこそこ沢山配信している所
✏ でもバウンス処理はしていない
Where

bounceHammer
✏ コンテンツプロバイダさん
✏ メールマガジンスタンドさん
✏ メール配信しているところ全部
✏ まだバウンス処理をしていない人
Who

bounceHammer
放置すると...

bounceHammer
✏ 携帯宛はブロックされる → 困る
✏ 有効配信数がわからない → 困る
✏ 遅延で配信時間がかかる → 困る
✏ 遅延でサーバが負荷上昇 → 困る
Block & Delay

bounceHammer
とにかく困る

bounceHammer
バウンス処理は

bounceHammer
✏ 確実にやるべき
✏ 配信数が少なくてもやるべき
✏ メール1通でも送るならやるべき
Bounce handling

bounceHammer
処理をすると
bounceHammerで

bounceHammer
✏ バウンスの理由が正確にわかる
✏ バウンス記録を構造化して保存
✏ ウェブ管理画面でアドレス管理
✏ メール配信の合理化と健全化に
✏ 自前でバウンス処理の実装不要
use bouncehammer;

bounceHammer

bounceHammer
動作環境
bounceHammerの

bounceHammer
✏ LAMPならなんでも動く
✏ Perl 5.8.1以上
✏ *BSD, Linux, MacOS X
✏ PostgreSQL, MySQL, SQLite
✏ Apache(CGI, mod_perl2)
Environment

bounceHammer
対応MTA
bounceHammerの
http://d.hatena.ne.jp/keyword/MTA

bounceHammer
✏ Sendmail (たぶん商用も)
✏ Postﬁx
✏ qmail
✏ Exim
✏ Courier(近日対応予定)
✏ OpenSMTPD(近日対応予定)
MTAs

bounceHammer
構築
bounceHammerの

bounceHammer
✏ Perlモジュールを入れる
✏ /bin/sh ./conﬁgure && make
✏ make test && make install
✏ データベースの準備
✏ 設定ファイルの編集
Build

bounceHammer
動かす
bounceHammerを

bounceHammer
✏ 解析はmbox ¦¦ Maildir/を引数に
✏ STDINからも読む(/etc/aliases)
✏ /etc/crontabで定時処理させる
✏ 必要に応じて解析済みデータ取得
Operation

bounceHammer
解析コマンド
bounceHammerの

bounceHammer
# mailboxparser /var/mail/root
% mailboxparser ~/Maildir/cur ~/Maildir/new
% cat /var/mail/azuma | mailboxparser
- { "bounced": 1221728044, "addresser":
"user1@example.jp", "recipient": "domain-does-
not-exist@example.gov", "senderdomain":
"example.jp", "destination": "example.gov",
"reason": "hostunknown", ... }
bin/mailboxparser*

bounceHammer
✏ Linode512(Xeon L5520x4 2.27GHz, 512MB RAM)
✏ 約2000通のバウンスメールを解析
✏ mbox = 約500通/秒
✏ Maildir/ = 約200通/秒
Benchmark

bounceHammer
出力コマンド
bounceHammerの

bounceHammer
% datadumper --howrecent 1y # 1年以内の記録
% datadumper --reason 'userunknown' # 宛先不明だけ
% datadumper --hostgroup 'cellphone' # 携帯だけ
% datadumper --format csv --destination gmail.com
✏ DBに蓄積された記録を出力
✏ YAML, JSON, CSVで出力する
✏いろいろ条件指定ができます
bin/datadumper*

bounceHammer
解析済データ
bounceHammerの

bounceHammer
✏ 解析済みデータはYAML ¦¦ JSON
✏ CSVでも出力できます
✏ サーバでバウンスの照合→削除
✏ 配信プログラムでバウンス照合
✏ ウェブサイトでバウンスの照合
Parsed data

bounceHammer
MTAと協調

bounceHammer
✏ たぶん一番手っ取り早い利用方法
✏ 配信プログラムはいじりたくない
✏ 配信側をいじる期間の確保が無理
✏ でもバウンスした宛先に送るの嫌
✏ バウンスした宛先はMTAが削除 !
at MTA

bounceHammer
# cd /etc/mail
# datadumper --format csv --reason userunknown
> | cut -d, -f3 | grep '@'
> | sed 's/^/To:/g;s/$/ DISCARD/g' > ./access
# makemap hash access.db < access
✏ datadumperで解析結果を得る
✏ DISCARDで宛先不明は破棄する
/etc/mail/access

bounceHammer
配信側で照合

bounceHammer
✏ たとえばユーザ宛にお知らせ送信
✏ メール配信プログラムで宛先照合
✏ YAMLで出力した宛先一覧を読む
✏ 一致した宛先は送信対象から外す
✏ YAMLが読めるなら言語を問わず
Read YAML

bounceHammer
#!/usr/bin/perl
use JSON::Syck;
my @A = 配信対象のメールアドレス配列;
my @B = JSON::Syck::LoadFile("/tmp/bounce.yaml");
foreach my $e ( @A ){
unless( grep { $e eq $_->{recipient} } @B ){
バウンス記録に一致しないので配信する;
}
}
# datadumper > /tmp/bounce.yaml

bounceHammer
サイト上で照合

bounceHammer
✏ HTTPベースのAPIを使う
✏ ユーザ毎のページに状態を表示
✏「登録されているアドレスは...」
✏ 受け取れるアドレスに変更催促
✏ JSONが読めるなら言語を問わず
use HTTP-API;

bounceHammer #!/usr/bin/perl
use JSON::Syck;
use LWP::UserAgent;
my $A = 'ユーザのメールアドレス';
my $H = 'http://127.0.0.1/b.cgi/search/recipient/';
my $U = new LWP::UserAgent();
my $R = $U->request( HTTP::Request->new(
GET => $H.$A ));
my $J = JSON::Syck::Load( $R->content() ) || [];
foreach my $e ( @$J ){ 内容を取得; }

bounceHammer
✏ なるべく国産モジュール使いたい
✏ ORMは国産化完了(DBIC→Skinny)
✏ CGI::Application::.+ → ? + ?
✏ APIで書き込み可能にする
✏ 商用MTA・アプライアンスに対応?
TODOs

bounceHammer
http://bouncehammer.jp/
詳細はWebで

bounceHammer
http://gihyo.jp/magazine/SD
Software Design 2010年11月号
創刊20周年記念号に載りました

bounceHammer
御静聴あり
がとうござ
いました・

Perl and eMail at Kansai.pm #13 Meeting in Kyoto

More Related Content

Perl and eMail at Kansai.pm #13 Meeting in Kyoto