渋谷駅前で働くデータサイエンティストのブログ

元祖「六本木で働くデータサイエンティスト」です / 道玄坂→銀座→東京→六本木→渋谷駅前

トップ > 時系列分析

時系列分析

「見せかけの回帰」の復習

時系列分析 統計学 マーケティング ビジネス

先日のことですが、Querie.meでこんな質疑がありました。これは非常にご尤もなご意見であり、実際この問題提起に近いシチュエーションを見かけたことは五本の指では数え切れないくらいあります。ということで、今回の記事では元々の問題意識ともいえる「見せ…

ビジネスの実務で「因果」を推測するということ

マーケティング 統計学 統計的因果推論 時系列分析

統計的因果推論と言えばすっかり統計学分野ではお馴染みのアプローチになった感があり、また機械学習分野でも扱うテーマが複雑化するにつれて注目が高まり続けているトピックスという印象があります。 このブログでも2016年ぐらいから因果推論に関する記事を…

データセットの本質的な性質を踏まえないデータ分析には、大抵何の意味もない

統計学 機械学習 時系列分析 データ分析 ビジネス マーケティング

前回のブログ記事は、論文紹介という地味なテーマだったにしてはだいぶ話題を呼んだ*1ようで、個人的にはちょっと意外な感があったのでした。確かに、今をときめくTransformerにも苦手なものがあるという指摘は、NN一強の現代にあってはセンセーショナルなも…

「機械学習で時系列予測はできるのか」論議がTransformerと共に帰ってきた

時系列分析 機械学習 Deep Learning 統計学 論文 研究

先日、こちらのポストをお見かけしました。AI技術開発部の高橋が社内勉強会の資料「時系列予測にTransformerを使うのは有効か？」を公開しました。論文Are Transformers Effective for Time Series Forecastingの紹介を中心に、時系列予測について解説してい…

VARモデル補遺（備忘録）

R 時系列分析

もう9年も前のことですが、沖本本をベースとした計量時系列分析のシリーズ記事を書いていたことがあります。その中で、密かに今でも自分が読み返すことがあるのがVAR（ベクトル自己回帰）モデル関連の記事です。 なのですが、仕事なり趣味なりでVARモデルを…

新型コロナウイルス感染症の「真の」感染拡大状況を検索トレンドから何となく推測してみた

データ分析 時系列分析 雑感

新型コロナウイルス感染症(COVID-19)のパンデミックに収まる気配が全く見られず、この記事を書いている2022年8月9日時点でも日本はオミクロン系統BA.5変異株を主体とする第七波に見舞われている有様です。東京でも毎日のように2万〜3万人という新規陽性者数…

蔓延防止等重点措置（まん防）の効果検証を「あえて」DID＋TSclustによる時系列クラスタリング＋CausalImpactでやってみた

統計学 統計的因果推論 時系列分析 データ分析 R

少し前の話ですが、現在COVID-19の感染が拡大している地域で実施される「蔓延防止等重点措置（まん防）」に効果があったかどうかについて、計量経済学的な観点に基づいた政策評価レポートが公開されて話題になっていました。 追記本日午前中に元のレポート自…

人類未曾有の危機に抗いながら、前を向く

雑感 データサイエンス 機械学習 統計学 時系列分析 年末回顧

これは年末恒例のポエムです。故に皆様にとって役に立ったりあまつさえ学術・技術的に価値ある内容などは何ひとつございませんので、予めご了承ください。

VARそして時系列因果性分析の復習

統計的因果推論 時系列分析 統計学 R

「新型コロナウイルス感染症における治療の進展（令和2年10月29日に開催された第13回新型コロナウイルス感染症対策分科会事務局提出資料を基に内閣官房・内閣府作成）」という資料が世間で物議を醸しているようです。ただ、これを見ていて僕が個人的に気にな…

とある実験の記録

R DLM 時系列分析 統計学

先日書いたこの記事ですが、「トイデータとは言え乱数シードを一つに決めて発生させたランダムウォークに対して実験をしているので、乱数シードを複数通りに変えてみたら結果は変わってくる（再現しない）のではないか？」という指摘を何人かの友人知人から…

時系列モデリングのおさらい：季節調整とトレンド抽出

R BUGS/Stan MCMC 統計学 時系列分析

COVID-19が世界中に感染拡大し、日本含め多くの国で外出や集会の制限（自粛）措置が取られて久しい昨今ですが、これに伴って多くのところでCOVID-19に関連したオープンデータが公開されるようになっており、データ分析を生業とする人間が実データを扱う良い…

改めて、汎化性能と交差検証のはなし

統計学 機械学習 R 時系列分析

追記再現性をチェックする実験を後日実施しています。併せてお読みください。 以前こんな記事を書きました。 この辺の話はとっくの昔に常識になっていると思っていたのですが、昨今様々な「モデル」が提唱されて公の場で喧伝されることが増えてきており、そ…

一般的な時系列のモデリング＆予測に、機械学習系の手法よりも古典的な計量時系列分析の方が向いている理由を考えてみた（追記あり）

時系列分析 統計学 機械学習 R

この記事は、以下の@icoxfog417さんによる問題提起に合わせたちょっとした実験をまとめたものです。時系列予測の問題において、機械学習のモデルより既存の統計モデル(ARMAモデルなど)の方が予測精度において優良な結果が出るという研究。データへの適合=予…

{CausalImpact}を使う上での注意点を簡単にまとめてみた

R 時系列分析 統計的因果推論

実はこのネタは元々別のところでやり取りのあった話題だったりします。色々な都合があってここ最近{CausalImpact}に触れる機会が自分に限らず周囲でも増えているのですが、若い人たちから「そもそも{CausalImpact}って何をしているんですか？使う際は何に気…

『RとStanではじめるベイズ統計モデリングによるデータ分析入門』は「みどりぼん」に取って替わる次世代の統計モデリング＋ベイジアン入門書

R BUGS/Stan 統計学 状態空間 時系列分析 書籍 書評

ここ2ヶ月ぐらいに渡って多くの方々からご著書をご恵贈たまわっているのですが、そのうちの一冊がこちら。かつて計量時系列分析を学んでいた頃に僕も大変お世話になった、Logics of Blueブログの馬場さんの手による『RとStanではじめるベイズ統計モデリング…

TensorFlow Probabilityのtfp.stsモジュールを使って構造時系列モデリングを回してみる

時系列分析 機械学習 Python TensorFlow R DLM

TensorFlow Probability (TFP)がリリースされてからしばらく経ちますが、最近になってこんなモジュールが公開されたと知りました。 Framework for Bayesian structural time series modelsと題されている通りで、ズバリTFPでベイズ構造時系列モデルを推定す…

「データサイエンティスト」「人工知能」「AI（トピックス）」のGoogleトレンドから向こう1年間のブーム動向を占ってみる

R 統計学 時系列分析 データサイエンティスト 機械学習エンジニア 人材 ビジネス

(Google Trends)最近時系列分析あまりやってないので、{bsts}の使い方を思い出しがてらついでに与太記事を書いてみます。お題は「データサイエンティスト」「人工知能」「AI（トピックス）」のGoogleトレンドから見る今後のブーム動向です。今回は互いに相互…

単純なK-meansと{TSclust}のDTWによる時系列クラスタリングとではどう違うのか実験してみた

R 時系列分析 機械学習

これは単なる備忘録です。詳細を知りたいという方は、この記事の元ネタになった以下のid:sinhrksさんの記事をお読みください。 ここでの問題意識は非常にシンプルで「そもそも時系列クラスタリングをかなり膨大な行数のデータに対して実行する際にどれほど厳…

偏Granger因果で「第三者効果」を排除しつつ因果性検定してみる

時系列分析 統計学

遥か古の時代、まだ自分が研究者だった頃にデータ分析に使っていた手法のひとつに偏Granger因果 (partial Granger causality) というものがありました。これはGuo et al. (2008)で提唱されたもので、当時は著者グループ提供のオリジナルMatlabツールボックス…

Ads carryover & shape effects付きのMedia Mix Modeling

統計学 時系列分析 R BUGS/Stan マーケティング

これは単なる備忘録です。「論文とサンプルコード読みながら試しました」以外に何も内容のない記事ですのでご注意ください。特に個々の式の変数の説明については個人的な備忘録ゆえ大半を端折りますので、仮に興味を持たれた方は適宜論文の本文をご参照下さ…

時変係数動的線形モデル続き：時変・時不変・OLS線形回帰で比較してみる

R BUGS/Stan 時系列分析 統計学

2週間前にふと思い立ってこんなことを試してみたわけですが。 よくよく考えてみたら「データを生成した真のモデルが時変係数＆モデル推定も時変係数」でやってみた結果を並べただけで、これを（例えば）時不変係数モデルで推定してしまった場合や単なるOLS線…

時変係数動的線形モデルをStanで推定してみる（追記あり）

R BUGS/Stan 時系列分析 統計学

これはただの備忘録です。目新しい内容は特に何もありません。きちんとした内容を学びたいという方は、先日著者の萩原さんからご恵贈いただいたこちらの書籍で学ばれることをお薦めいたします。MCMCに留まらず、粒子フィルタの実装＆実践までカバーしていて…

ニューラルGranger因果という論文が出たらしい（追記あり）

機械学習 統計的因果推論 時系列分析 論文

3年前に因果フェスというイベントでGranger因果について専門家でもないのに講演させられるという稀有な経験をしたわけですが。 その時のイベント報告記事で、会場でのディスカッションの内容を踏まえて僕はこんなことを書いたのでした。 非線形Granger因果性…

「人工知能」と「データサイエンティスト」の2つのブームの関係性をGoogleトレンドのデータから眺めてみる

データサイエンティスト 機械学習 マーケティング 時系列分析 統計学

そう言えば、ちょっと前のデータ分析業界5年間振り返り記事で「人工知能ブームに引っ張られてデータサイエンティストブームも再燃しつつある」みたいなことを書いたわけですが、本当にそうなんだっけ？というところをこれまでに検証したことはなかったなぁと…

実務の現場に多い時系列データ分析の際に注意しておきたい点を列挙してみる

R 時系列分析 統計学 統計的因果推論

こういうメタ分析系の記事を書く時というのは大抵ネタ切れの時なんですが（汗）、最近になってこの辺のポイントでつまずいて困っているビジネスデータ分析の現場の話を聞くことがまた増えてきたので自分向けの備忘録も兼ねて記事としてまとめておきます。 そ…

トレンド・季節調整付き時系列データの回帰モデルを交差検証してみる

統計学 時系列分析 R BUGS/Stan MCMC

これは実は既に元ネタのあるテーマです。 Cross-validation for time series | Rob J Hyndman 個人的にはトレンド・季節調整付き時系列データの回帰モデルをやる場合はほぼ例外なくベイジアンモデリングで回すんですが、一般にベイズ系のモデルは例えばWAIC…

ベイズ構造時系列モデルを推定する{bsts}パッケージを試してみた

R 時系列分析 MCMC DLM

Rパッケージ紹介ばかりが続いていて恐縮ですが。。。最近になってこんなものがFacebookからリリースされていたのを知りました。これはこれで使いやすそうだなと思ったんですが、実はGoogleからも同様のMCMCサンプリングベースの時系列分析向けCRANパッケージ…

単変量時系列分析の続き：ARIMA vs. ETS vs. Robust ETS

R 統計学 時系列分析

この記事は4年前の以下の過去記事の続きです。大変遅まきながら*1、最近になって単変量時系列モデリングの手法としてARIMA / DLM以外にも幾つか方法があるのだということを知りました。一つは指数平滑法というかExponential Smoothing State Space Model (ET…

因果フェスでGranger因果について話してきたら、色々いじれば非線形でもやれるんじゃないかという気がしてきた

R 時系列分析 統計的因果推論

本日8月6日に駒場で開かれた日本生態学会関東地区会公開シンポジウム「非ガウス性／非線形性／非対称性からの因果推論手法：その使いどころ・原理・実装を学ぶ」通称因果フェスにて、Granger因果について話してきました。 ちなみに事前に林岳彦(id:takehiko-…

Rでベイジアン動的線形モデルを学ぶ(5)：説明変数のあるローカル・レベル・モデル

R DLM 時系列分析

何か月1回しか書かなくなりつつあるこのシリーズですが、中には@berobero11さんのようにツッコミ倒すのを楽しみにして下さっている方もおられるようなので、久しぶりに更新してみます。 もちろん参考文献は以下の2冊 + PDF book。お題はCommandeur本の第5章…