botからのスパム送信の推移とSMTPセッションフィルタの終焉

これは「メール Advent Calendar 2018」のために書かれたエントリです。

元ネタは今年の6月に開かれたNSEGという長野の勉強会で発表した内容です。
勉強会の動画も上がってますので興味持たれた方はこちらもぜひ。

NSEG 勉強会 #101 / メールとコミュニケーションツール - connpass
スパム対策お焚き上げ

今北産業

• botnetから送られるスパムが激減した
• SMTPセッションフィルタでのスパム対策は不要になりつつある
• 諸行無常

はじめに

自分は2006年頃から taRgrey というスパム対策手法を提案しています。

taRgrey - S25R + tarpitting + greylisting (tarpit + greylist policy server)

これはSMTPセッション中のクライアントの特徴を利用するフィルタをいくつか組み合わせた手法で、 S25R と tarpitting と greylisting を組み合わせて、誤検出や副作用をなるべく少なくすることを狙ったものです。

ただ、近年スパムの数も徐々に減ってきており、また徐々に効果が少なくなってきたと感じていました。

そこでSMTPセッションフィルタがどの程度効果が出ているのか、2010年から2018年にかけての推移を確認しました。

2010年当時のスパム状況

2010年当時はまだスパム全盛期でまだ増えていく感じがありました。
特にbotnetというウイルスに感染したPCを大量に遠隔で操作し、そこから大量にスパムを出すのが主な手法でした。
ただ、OP25Bの広まりやSNS等の他の連絡手段の普及もあり、徐々に変化が起こりつつあった状況でした。

• スパム率70%～80%程度という感じで年々増えていた
• 97%前後がbotnetから出されたスパムだった
• 日本発のスパムはOP25Bにより激減していた

下記表は、2010年当時の実測スパム比率と、S25Rのマッチ率≒botからのスパム送信率、tarpitting(遅延)を掛けた場合のスパム駆除（あきらめて切断される）率、同taRgreyでの駆除率です。
９割以上がbotから出されており、そのためbotに対してのスパム判定がうまくいけば高い比率で対策となっていたことがわかります。

	率
スパム率	69%
S25Rのスパムマッチ率	93%
tarpittingでの駆除率	91%
taRgreyでの駆除率	85%

2012～2018年の状況推移

あるメールサーバで、メールの受信数や各スパムフィルタでのスパム判定数から、botからのスパムメール送信数推移を定点観測しました。

メール総数とスパム数

まず基本となるメール総数とスパム数の推移です。1メールアドレスあたりの月平均受信数です。
スパムが減っているため、メール総数が減っていることがわかります。

アカウントあたり	2014年まで	2018年現在
メール数	2,500通/月ほど	1,000通/月弱
スパム数	2,000通/月ほど	500通/月ほど

スパム率

スパム比率の推移をグラフにしました。
ここ数年で一気にスパム比率が少なくなったことがわかります。（と言ってもまだ半分がスパムですが）

• 2014年くらいまでずっと75%くらいだった
• その後徐々に低下し2018年には50%を切る

メール総数とハム数

正常なメール（ハム）の数は意外に減っておらず、横ばいでほぼ変わっていないことがわかります。
メールマガジンなど、DMの需要はまだ減っていないのだろうと思われます。

減ったスパムの種類

スパムはここ3,4年で大きく減っており、意外に普通のメール流量は減っていないことがわかりました。

それではどんなスパムが減ったのでしょうか。

動的IPからと推測される接続推移

S25Rに引っかかるような、逆引き名が動的IPっぽい接続はbotからである可能性が高いと推測でき、それらbotからと思われる接続はここ数年で激減していることがわかります。
またtarpittingで切断された件数も同様に減少しています。

• S25Rに掛かる接続元は70%減程度に激減
• tarpittingで切断されたメール数も合わせて減少

tarpittingでの切断率推移

動的IPからと思われる接続でtarpittingで切断された率も急激に減少しています。

• 2014年くらいまでずっと80%程度だった
• その後2018年には30%にまで急激に低下

S25Rに引っかかるものすべてがbotなわけではなく、メールマガジンの大量発信やクラウドサーバから出されているものが誤検出している場合があります。
それらはtarpittingを抜けるため、botが減ったことで相対的にそちらの比率があがり、切断率が下がったのではないかと考えられます。

tarpittingを抜けれなかったものだけがbotと考えると、botからの接続は最盛期より10%程度にまで減ったと考えられます。

SMTPセッションフィルタの有効度推移

このサーバではメールの中身で判定するコンテンツフィルタも利用でき、その場合はSMTPセッションフィルタを抜けてきたものをフィルタしています。
どちらのフィルタでどれだけスパムが落とされたかで、各フィルタの有効性がどう推移してきたかを見てみます。

コンテンツフィルタとSMTPセッションフィルタの効果推移

• コンテンツフィルタは30%減程
• tarpittingは85％も激減

tarpittingの1次フィルタの効果

• 2015年頃まではずっと70%～80%維持
• 以降急激に低下しついに30%程度に

SMTPセッションレベルでのフィルタの効果が減少してあまり意味をなさなくなっていることがわかります。

結論

botnetからの送信が大幅に減ったため、botのクセを利用してスパムを排除するSMTPセッションフィルタも効果をなさなくなりつつあることがわかりました。
スパム(botnet)はすでにメールではなく、より効果の高いSNSなどを狙ったり、メールを使う場合でもより効率の高いフィッシングなどに使われるようになったと考えられます。

このことから、taRgreyはもう導入する意味がないといえます。これはgreylistingなど他のSMTPセッションフィルタも同様です。
考案者としては複雑な心境ですが、そもそもスパムがなければスパムフィルタは不要なわけで、だから喜ぶべき話だと思います。