モーグルとカバとパウダーの日記

モーグルやカバ(EXカービング)山スキー(BC)などがメインの日記でした。今は仕事のコンピュータ系のネタが主になっています。以前はスパム対策関連が多かったのですが最近はディープラーニング関連が多めです。

第2回静岡ITPRO勉強会で話してきました

pc spam 勉強会 静岡ITPRO勉強会02

時間がないのでとりあえずエントリーあげだけ。
後でもすこし内容的なことについて追記予定。

  • たのしかった！
  • milter managerのkouさんとお会いできた。
  • その上SA日本語化パッチの滝澤さんまで来てるし。umqさんとは前のまっちゃ139のときにお会いしてたけど今回はたくさん話が出来た。
  • ネタ詰め込みすぎた…　70分短いお。
  • 懇親会でもいろいろ話ができたのは良かった〜
  • となかさん、まっちゃさんはじめ、運営のみなさんにはたいへんお世話になりました。多謝です。
  • 静岡遠かった！


(追記)

プレゼン資料

勉強会で利用したプレゼン資料をPDF化したものを公開します。

「迷惑メールの現状と対策」
http://k2net.hakuba.jp/spam/shizuokaitpro/spam2009-6.pdf


一応、最後のまとめだけ。

  • スパム対策はすでにセキュリティ対策の一環
  • 誤検出が無いことを重視
  • なるべくログを残す
  • 各手法を組み合わせて弱点をカバー
  • メールのスパム対策は他のサービスのスパム対策にも応用が効く
  • サービス開始時からスパム対策を考えておくべき


(関連まとめ記事エントリー)

第2回静岡ITPRO勉強会に参加してきた - ふうてんのまっちゃだいふくの日記★とれんどふりーく★
http://d.hatena.ne.jp/ripjyr/20090613/1244875576

第２回 静岡 IT Pro 勉強会、無事終了しました - 静岡 IT Pro 勉強会日誌
http://d.hatena.ne.jp/ftnk/20090613/1244937199

第2回静岡IT Pro勉強会の資料公開 - ククログ(2009-06-16)
http://www.clear-code.com/blog/2009/6/16.html

誤解起きやすそうな部分のフォロー

まず、勉強会の感想書いていただいているところ、見せていただいたのですが、その中でちょっと誤解あるかも、というようなところにフォロー。

8:2の法則で95:5と書いた点について

8:2の法則といわれるパレートの法則を引き合いに出して、スパムではそれがもっと酷くて、95%のスパムが5%の業者で出されている、みたいに説明したのですが、この数字はぜんぜん正確じゃないです。
単に、上位一握りの業者がほとんどの割合のスパムを出している、と言いたかったので、語呂を合わせて98:2の法則とか、95%のスパムは上位10スパム業者によって出されている(こっちは数字的にもまだ近いと思う)とかのほうが良かったと思っています。


つまり、スパムは小さなスパム業者が大量にいるのではなく、大量にスパムを出している上位業者でほとんどのスパムを出している、ということを説明したかったのですが、表現悪かったと思います。

tarpittingは拒否じゃなく向こうから切ってくるからOK？

一言でまとめちゃうとそうなっちゃうんですけど…


ネットワークサービス事業者が、なんらかのフィルタなり制限なりを掛けることは、だいたい電気通信事業法（通信の秘密保護、利用の公平）に抵触する可能性が高いです。
ただしその行為が、大量のスパムによりサーバの負荷増などによる他の利用者のメールの送受信時の支障を解消する、という正当な目的に基づき必要最小限度の方法で遅延等させる場合には、正当業務行為として違法性が阻却される、ということになります。
ただし、どういうラインまでなら違法性が阻却されるのか、というのは事例毎に異なってくるため、総務省に問い合わせが必要になります。


一般の会社のメールサーバなどでは、こういう制限関係ありませんから、気にせずにフィルタしてもOKです。

最後に追加でしゃべった時間によるフィルタと自動学習の話

時間によるフィルタでも指標となりうること、それとGeoIPによるフィルタを組み合わせればもっと指標として使えること、そういったのを自動学習させたい、という話をしました。


これは時間のような、それだけじゃとてもスパムフィルタには使えなさそうな要素でも、指標となりうるということを説明したくて出した例なのですが、実際にそういう研究があります。
で、それを他のフィルタと組み合わせれば、もっと有効な指標になりうると説明したのですが、だから時間＋GeoIPのフィルタを作りたい、というのが本題ではないです。


そういう、それ一つでは指標になりそうにないものでも、いくつかの複合条件で見ると、指標として使えるということ、そしてそれを有効に使うには自動学習させる必要があること、を言うための例としてとりあげました。


んで、SpamAssassinにある各種プラグインをベースに、指標になるかならないかわからないくらいのいろんな指標を付け足すことができ、ベイズなりSVMなりニューロなりの適当な学習機械を使って、SMTPセッションレベルでの制限も掛けれるし、コンテンツレベルでの判定も行える、みたいな非常に柔軟性があって、メンテナンスコストも低いもの、作れないかなあというのがこの話の主旨でした。


(ブログ読んでの感想追記)

第2回静岡IT Pro勉強会 - umq の日記

http://slashdot.jp/~umq/journal/478858

佐藤さんのは、最近のトレンドから対策の実践的手法までを網羅的に扱っていて、非常によくまとまっていました

ここ大事なんでもう一度コピペしときますね！

佐藤さんのは、最近のトレンドから対策の実践的手法までを網羅的に扱っていて、非常によくまとまっていました

あー、umqさんにそう言ってもらえてほっとしました :)
懇親会でもちょっと話が出てたんですけど、スパム対策系やってる人って、結構みんな一匹狼的にやってる人が多くて、自分の身の回りのログから世界を測るしかなくて、なかなか他のサーバの状況わからなかったりします。
僕は運よく、これまた本職のmanabuさんが友人だったり、友人知人系でもメールサーバの管理者やスパム対策してる方が多くて、そういう情報から補強は出来ていたのですが、やっぱ不安なんですよね。


実はLTで話されたSA日本語化されてる滝澤さんから、ときどきこういうイベントで集まって横のつながり作ろう！というお話があって、ぜひ実現していきたいと思っています。

第2回 静岡 IT Pro 勉強会いってきた - sarusaruworld lab - Web Lab

http://lab.sarusaruworld.com/others/2_it_pro.html

闘ってマス。そう彼らは、世界のSpamと闘っている勇者なわけです。

勇者なんて派手な職じゃなく、たぶん僧侶ぐらいの地味な位置づけかな？


実は、無駄だから削ったネタで、スパム対策（とたぶんセキュリティ対策も）の開発と普通の開発の違い、というのがありました。
それはスパム対策では、リアルの「敵」がいるってことです。
そこが難しい（長いスパンで見れば必ずいたちごっこになる）ところなんですが、そこが面白いところでもあると思います。

ネタ

ちょこっと話に出てきた、最近気に入ってるマンガ「モテキ」

Amazon.co.jp： モテキ (1) (イブニングKC): 久保 ミツロウ: 本
http://www.amazon.co.jp/%E3%83%A2%E3%83%86%E3%82%AD-1-%E3%82%A4%E3%83%96%E3%83%8B%E3%83%B3%E3%82%B0KC-%E4%B9%85%E4%BF%9D-%E3%83%9F%E3%83%84%E3%83%AD%E3%82%A6/dp/4063522598

あいたたたた…　みたいな感覚が面白くて。