PyCon mini Osakaで異常検知システム構築の裏側について発表しました

現在仕事で作っている異常検知システムについてPyCon mini Osakaで登壇してきました。異常検知というマイナーなトピックですが、多くの人に聞いてもらえてよかったです。

#pyconjp #pyconosaka
「Pythonを用いた異常検知システム構築の裏側」
吉田康久さんです！
たしかはてなの人だったはず。 pic.twitter.com/hRacSgV59D

— PyCon mini Osaka (@OsakaPyConMini) 2018年5月19日

はい、はてなのMackerelチームの中の人です。

機械学習の人からすると「なんだただの混合ガウス分布か」と思われるかもしれませんが、異常検知のシステムを実際に作ろうとすると考えることが色々あります。今回の発表では

• ユーザーのどのような要望から異常検知機能を作るに至ったか
• 異常検知とはそもそも何か、どういった問題設定か
• 異常検知手法にはどういったものがあるか、どのようなメリット/デメリットがあるか
  • どの手法だとコストをなるべく抑えながらサービス要件を満たせるか
• 実際のサービス提供するためにどのようなアーキテクチャ設計にしたのか
  • 高頻度かつ不定期な学習Jobに対応するためにAWS Batchを採用
  • 誤検知を少なくするためには、荒い粒度ではなく生データが重要。独自の時系列DBを構築

といった内容について話しました。

Mackerel Anomaly Detection at PyCon mini Osaka from syou6162

合わせて読みたい

異常検知と変化検知 (機械学習プロフェッショナルシリーズ)