この記事はStan Advent Calendar 2018 qiita.com の23日目の記事です。本記事では状態空間モデルを用いた時系列予測について実データでの分析例を紹介します。 2015年度人工知能学会全国大会（第29回）での論文、 状態空間モデルを用いた検索トレンドとページビューからの自動車販売台数の予測, 角田 孝昭, 吉田 光男, 津川 翔, 山本 幹雄 www.jstage.jst.go.jp と同内容の状態空間モデルによる予測をStanを用いて行ってみました。この論文では、自動車の販売台数の月次データの予測を状態空間モデルを用いて行っていて、説明変数として絵googleの検索量を用いることで予測が改善するかどうかを調べています。 使用データについて 今回使用したデータは論文と同様に日本自動車販売協会連合会 自販連のホームページ からとってきた車種ごとの月次販売台数データ

COVID-19が世界中に感染拡大し、日本含め多くの国で外出や集会の制限（自粛）措置が取られて久しい昨今ですが、これに伴って多くのところでCOVID-19に関連したオープンデータが公開されるようになっており、データ分析を生業とする人間が実データを扱う良い機会ともなっているように見受けられます。 ということで、今回の記事では東京都が公開している日次のCOVID-19感染者（PCR検査陽性者）報告数のデータを題材として、時系列モデリングのおさらいをしてみようと思います。なお、この記事における時系列モデリング結果は今後のCOVID-19の感染拡大状況について何かしらの解釈や予測をするためのものでは全くありません*1ので、悪しからずご了承ください。 また、この記事で公開しているコードは以前書いたクソコードをそのまま転用しているので、端的に言ってただのクソコードです。皆さん自身がお試しになる際は是非

brmsというStanのラッパーパッケージで遊ぶ。 概要 例えば、rstanを使う場合はStanコードを別ファイルの.stanに記述してそれを呼び出す形でbayes推定をおこなう。一方、brmsを用いるとStanコードをわざわざ書かなくてもbrmsパッケージの関数を用いればbayes推定ができる。正確には、関数を介して内部的にStanコードを走らせているらしい。そのため、brmsを用いて書いたbayes modelが内部的に持っているStanコードはどうなっているか知りたい場合はそのコードを出力することも可能。 また、指定するための事前分布が豊富に存在するので、例えばStanで記述するのが面倒なゼロ過剰ポアソン分布なども簡単に使えるらしい。 ちなみに、brmsははBayesian Regression Models using Stanの略。 今回、brmsの練習のために「StanとRでベ

背景 しつこいようですが、Marketing Mix Modeling（MMM）の話題です。 先日、こんな面白い論文を見つけました。 GoogleのResearcherによるMMMの論文（彼らはMedia Mix Modelingと呼んでいます）なのですが、ヒルの式を用いて広告のShape効果（Carveture効果）を推定するということをやっています。ここでShape効果・carveture効果とは、メディアの露出量に対する目的変数の反応を示す曲線を指すようで、ヒルの式とは： $$ H(x; K, S) = \frac{1}{1 + (\frac{x}{K})^{-S}} $$ であり、$K > 0$や$S > 0$となるパラメータによってLogやSigmoidの形状を表現することができるようです。 ヒルの式によってxがどのような形状となるか、実際に確認してみましょう。まずはヒルの式を以

都内の事業会社で分析やWebマーケティングの仕事をしています。大学・大学院では経済学を通じて統計解析を行うなどしておりました。企業に勤めてからは、機械学習やテキストマイニング、クローリング技術などに関心を持っています。 Twitterアカウント Mr_Sakaue( SKUE ) GitHub 読書メーター ほしいものリスト はじめに ゴールデンウィークで実家に持ち込む本としてチョイスしたのが、2005年出版の「Bayesian Statistics and Marketing」です。大学院のときに購入して、ちょっとしか読んでませんでした。 この本は、字面の通りマーケティング関連の分析に関してベイズ統計を使ってアプローチするというもので、この書籍のために作られた、Rのbayesmというパッケージの紹介もあり、理論だけでなくRで実践することもできます。1章から7章までの全ての分析事例に対して

これはただの備忘録です。目新しい内容は特に何もありません。きちんとした内容を学びたいという方は、先日著者の萩原さんからご恵贈いただいたこちらの書籍で学ばれることをお薦めいたします。MCMCに留まらず、粒子フィルタの実装＆実践までカバーしていて素晴らしい教科書だと思います。 基礎からわかる時系列分析 ―Rで実践するカルマンフィルタ・MCMC・粒子フィルター (Data Science Library) 作者: 萩原淳一郎,瓜生真也,牧山幸史,石田基広出版社/メーカー: 技術評論社発売日: 2018/03/23メディア: 大型本この商品を含むブログ (1件) を見る で、今回取り上げるのは時変係数から成る動的線形モデルです。マーケティング分析では割と時不変係数モデルが暗黙のうちに採用されることが多いのですが、一方で「おいこれどう見ても特定の特徴量の係数は時変やろ」みたいなケースも時々見かけるこ

以前@berobero11さんに「StanとRでベイズ統計モデリング」をプレゼントしていただき、本を読んだのですが解析したいデータがなかったため勉強した結果を活かすことができずにいました。 しかし今日Twitterを見ていたら 長時間労働は，知的好奇心を枯らすのか。 pic.twitter.com/NcuaLAgzpy— 舞田敏彦 (@tmaita77) 2017年11月13日 労働時間と知的好奇心には，国レベルでは非常に強い負の相関があるが，個人レベルでは逆に正の相関がある https://t.co/N8Z00ljFfB— Haruhiko Okumura (@h_okumura) 2017年11月15日 というまさに階層ベイズモデルを用いた解析にぴったりのテーマが流れてきたのでStanの練習として解析を行ってみました。 モデリング まずは奥村先生のPIAACデータ解析を読んでください。

この記事は Stan Advent Calendar 2016 のエントリーです。 Stanいいですね。いいですね，Stan. 私はもっぱらRから触るrstanユーザーなんですが，いろいろなところから触れる間口の広さがいいですね。 もちろん「尤度関数を書かなくても推定してくれる」とか「細かい設定をしなくても大体ちゃんとやってくれる」といったStan本来のありがたみも忘れちゃいけません。 なにより，ベイジアンモデリングのハードルがすごく下がった気がします。頭の中でイメージしていることが，そのまま書けるっていうのは，とてもいいことだと思うのです。 この「頭の中のイメージがそのまま書ける」ということを一番実感したのは，状態空間モデルのお勉強をしているときでした。なので，その時のことを記事にして，Stanへの感謝とエールに代えたいと思います。 時系列データと状態空間モデル 時系列的なデータの場合，

StanとRでベイズ統計モデリングに関する読書会（Osaka.stan）第二回における，第四章の発表資料ですRead less

Stanの初心者が基本的な統計モデルを実行するまでの解説です。プログラミング初心者向けに書いているので，やや説明が遠回りなところもあります。Read less

「StanとRでベイズ統計モデリング」の読書会発表資料です。 今回の発表は導入編（1章～3章）です。 初回ということもあって，本の内容以外に清水が補足説明を加えているところもあります。Read less

概要 前回の『[python] [stan] 潜在変数と階層ベイズ法と RFM 分析 [未完成] - ill-identified diary』の完成版. 忙しくて1年近く放置していた…… パラメータを推定し顧客ごとの生涯顧客価値 (CLV) の計算まで実行できた. stan は 2.14.0 を利用. 前回のは 2.9 で, 2.10 以降は構文が大きく変わっているので注意. 前回の「プログラム」以外のセクションを読んでからこちらを読むことをおすすめする. 文章量は4ページ (画像とプログラム除く) 反省点実は, こちらですでに RF 分析についての stan の一部正解コードが書かれている.abrahamcow.hatenablog.com 前回の一番の問題点は, 原理上離散的なパラメータを扱えないハミルトニアンモンテカルロ (以下, HMC) 法で を無理やり離散パラメータとして扱お

半月ぶりですね。がんばります。 R3.3.1リリース 当初の予定通り、2016/06/21に上記バージョンがリリースされました。コードネームは”Bug in Your Hair”です。執筆時の4時間前なのでミラーにはきてないかもしれませんが、順次入ってくるかと思います。 Rイベント関連 Kandai.R #1(終了・資料リンクなど) 6/18に関西大学千里山キャンパスで開催されました。当日の発表資料で把握しているのは以下のとおりです: – 入門者講習 – 非変態ユーザーのためのR Tips // Speaker Deck – Rでドキュメントを生成しよう 非常に楽しかったです。また次回開催されるのであればまた何かネタを準備して臨みたいです。ありがとうございました。 第54回R勉強会＠東京（#TokyoR）(終了・資料リンクなど) 6/19に都内で開催されました。公開された当日の資料などにつ

2. 自己紹介 • 清水裕士 – 関西学院大学社会学部 • 専門 – 社会心理学・グループダイナミックス • 趣味 – 心理統計 – フリーの統計ソフトHADの開発 • Web – http:norimune.net – twitter:@simizu706 3. このスライドは・・・ • 心理学者のための統計モデリングの続き – http://www.slideshare.net/simizu706/ss-58585233 – 統計モデリングやGLMの話についてまとめてます – GLMMの話の助走的なスライドです • ここからでも独立に見れます – GLMM = G + M + LM • 一般化線形混合モデル = 一般化＋混合＋線形モデル – 前のスライドはG（一般化）の話 – このスライドはM（混合）の話と，GLMMの話

このシリーズ記事、全然真面目に事前分布の勉強をしていない人間がStanで無理やりフルベイズをやろうという無謀な代物でございますが、何だかんだで段々佳境に入ってまいりました。 ということで、今回は階層ベイズモデルをこんな感じでやってみましたという例を挙げてみようかと思います。ちなみに内容的には@berobero11さんのこちらの記事（「RStanで『予測にいかす統計モデリングの基本』の売上データの分析をトレースしてみた」）をグレードダウンさせた感じのものだったりします（笑）。そして先日招待講演させていただいた時の最後の方で取り上げた例でもあります。 そんなわけで、どのようにしてやっていったかを含めてサクサク見ていきましょう。階層ベイズについて忘れちゃったという人は、前回の記事あたりを読んで復習してもらえれば。 データをインポートする いつも通り、サンプルデータをGitHubに上げてあるので持

12/22(日)にBUGS/Stan勉強会#2がドリコム株式会社にて催されました。そこで2つ発表をしました。そのうちの1つ「『予測にいかす統計モデリングの基本』の売上データの分析をトレースしてみた」に関する詳細＆補足＆苦労話をここで書きたいと思います。RStanというパッケージでRからStanというMCMCサンプリングソフトを使っています。 最初に発表内容のスライドは以下になります。ざっと見るにはこれで十分です。 『予測にいかす統計モデリングの基本』の売上データの分析をトレースしてみた from . . 以降ではスライドごとに簡単に補足していきます。 予測にいかす統計モデリングの基本―ベイズ統計入門から応用まで (KS理工学専門書) 作者:樋口 知之発売日: 2011/04/07メディア: 単行本（ソフトカバー） まずは元となった書籍の紹介です。時系列解析の第一人者による分かりやすく丁寧に