おつかれさまです．今回は簡単なメッセージ受信数のデータを使って，変分ベイズによる変化点検知をやってみたいと思います．なお，今回使うデータやモデルは下記のPyMCの入門書を参考にしています*1. Pythonで体験するベイズ推論-PyMCによるMCMC入門-キャメロン-デビッドソン-ピロン この本では推論にMCMCを使っていますが，今回はモデルはそのまま流用し，同じことを実現する変分ベイズによる近似推論を導いてみます． 一般的には変分ベイズの方が計算が高速なので，MCMCの性能に満足できない場合などは変分ベイズは良い代替手法になり得ます．また，今回紹介する例は，過去に紹介した混合モデルを使った例よりも比較的シンプルですので，変分ベイズの入門題材にはちょうど良いんじゃないかと思っています． MCMCによる変化点検知 ・メッセージ受信データ PyMC本では次のような「ある期間で受信したメール数」

動機 仕事で変化点検知をする機会がありました。その時は時間がなかった事もあり、yokkunsさんがやられていたARIMAモデルを使ったアルゴリズムを参考にさせていただき作りました。ただ、ARIMAモデルだと色々と面倒なところがあったのでkalman filterで書き換えを試みた次第です。 ARIMAモデルの問題点 パラメタ調整が面倒 対象とするwindow以上のデータが溜まるまで解析できない window内に同一データのみが並んだベクトルとなった場合、逆行列が計算出来ない 参考文献 データマイニングによる異常検知 ベイズ統計データ解析 (Rで学ぶデータサイエンス 3) 主に参考にしたのは、みんな大好き「データマイニングによる異常検知」です。 概要 計算ステップは以下のとおりです。 計算は大きく分けて、学習ステップとスコア計算ステップに分けることができます。 学習ステップ こちらは新しいデ

（※実際使ってみるとイマイチだった） R の changepoint は変化点検出を行うパッケージです。 しかし、CROPS を用いた最適変化点探索がちょっと面倒なので自動化する関数を書きました。 library(changepoint) auto_changepoint <- function(x, pen.value = c(1, 1000), minseglen = 5) { # CROPS で全ての変化点分割を算出 crops <- cpt.meanvar(x, penalty = "CROPS", pen.value = pen.value, method = "PELT", minseglen = minseglen) penaltys <- pen.value.full(crops) penaltys_diff <- rev(diff(penaltys)) # ペナルティグラ

方向データに対する変化点検出の論文を読んだところ、面白かったのでメモを残しておきます(論文、スライド)。IJCAI2016の論文です。 異常検知は重要な領域であるにも関わらず、まだまだ枯れていなくて論文読んでて面白いものが多いですね。 問題設定 確率分布の選択 異常検知の方法 目的関数 複数のパターンに対応できるようにする 異常度としてのKLダイバージェンス 実験: Failure detection of ore belt conveyors 問題設定 多次元かつノイズの多い時系列データに対して変化点検出を行いたい 実データでは、ある変数にのみノイズが乗るというより、相乗的にノイズが乗ることが多いが、そのノイズを誤検知したくない 例: 同じモーターで複数のベルトコンベアが操作されているので、一緒にセンサーのノイズが乗る 確率分布の選択 複数の変数に同時にノイズが乗る場合、ベクトルのノルム

井出先生の「異常検知と変化検知」を読んで，自分でも試してみたいと思ったんですが，あいにくちょうどいい時系列データが手元にないなーと思ってました．そんな折，データサイエンスLT祭りの発表の中に，Fitbitデータを可視化するものがあって*1，これはちょうどいいということで試してみましたよというていのエントリになります． 異常検知と変化検知 (機械学習プロフェッショナルシリーズ) 作者: 井手剛,杉山将出版社/メーカー: 講談社発売日: 2015/08/08メディア: 単行本（ソフトカバー）この商品を含むブログ (2件) を見る Fitbitってなによ Fitbitが何かしらない人のために一応説明しておくと，最近はやりの活動量計です．私が持っているのは，心拍が取得できるタイプのやつです．風呂に入るとき以外は一日中つけっぱなしで，睡眠とか運動とかを自動で判定してくれるので，手間がかからず便利です

読んだ Behav Ecol Sociobiol. 2007 Dec;62(2):245-253 dimorphic allometry という二形性の成長を見ていて、その変化点らしきところを推定する。 論文ではT. dichotomus septentrionalis と呼ばれる、いわゆるカブトムシの体の大きさ(body) と角(horn) についてデータをとっている。 データについて、対数をとったbody の大きさと対数をとったhorn の長さについて という線形回帰(パラメータに関して言えば、線形)を考え、が有意に0から離れていれば、の項がきいてくるので以降の解析は非線形でやります、といっているが、言いたいことは確かにわかるんだが、これってただの高次の項を含みうりますって言ってるだけで、パラメータ的に非線形であるかは否定できてないような気がしないでもない。 本筋ではないので解析にいく

メーリングリストでStanにおいて累積和を使って変化点検出を高速化する話がありましたのでメモです。 ここではRにはじめから用意されているNileのデータに対して変化点検出します。プロットすると以下です。 ここでは、ある変化点より左の部分では平均mu_l・標準偏差sigmaの正規分布に従い、右の部分では平均mu_r・標準偏差sigmaの正規分布に従うとします。 すると、変化点は離散値をとるパラメータなので、周辺化消去しなくてはいけません。単純にはif_else関数を使った以下の実装になります。 7, 8行目：範囲をおおまかに指定しています。これは実行時にデータを1000で割ってスケーリングするので、この値になっています。 しかし、この実装は各cpにおいて、normal_log(Y[t], mu_l, sigma)とnormal_log(Y[t], mu_r, sigma)を重複して評価してい

変化点検出のアルゴリズムとして、ChangeFinderという有名なアルゴリズムがあります。Rによる実装例が見つからなかったので実装しました。今回は１次元のデータに対する変化点検出を考えます。アルゴリズムの詳細は記述しませんので、後述の参考群を参照してください。 実装 まず、準備として予め２つの関数を定義しておきます。 １つ目は、アルゴリズム内で用いる平滑化用の関数です。 ２つ目は、擬似逆行列を計算する関数です。計算上、逆行列が存在しない場合もありますので、擬似逆行列を計算する必要があります。今回はムーア・ペンローズ逆行列を実装しています。 ## 平滑化用関数 MW <- function(dat, width, na.rm = TRUE) { N <- length(dat) x <- numeric(N) for(i in 1L:(width-1L)) { x[i] <- mean(d