rstan で回帰 連続変数のカテゴリ化バージョン data { int N; int K; int C; // int G; matrix[N,K] X; int y[N]; int start_flg[K]; int order_flg[K]; //int group[N]; int Level_no; //number of room int m[N]; } parameters{ real a; vector<lower=-5,upper=5>[K-C] b; //</lower=-5,upper=5>…

多変量回帰で共通した情報を持つ場合は、 共通した情報程度の係数になる。 ただし、AIC Step wise などを使うとノイズによって 不安定になり、片方に集中することも。。 Ridge回帰なら両方の変数を選んでくる。例えば、 a1=情報１＋0.2情報２ a2=情報1+0.3情…

その１：processxで詰まる。 (1)ソースをもってくる。 （２）ソースを展開して、一つ一つ下のようにビルド。 (3)ソースを圧縮、Rに読ませる。install.packages("processx.tar",repos=NULL,type="source") 他は、processx-vector.c はg++に変えるとかで対処で…

リストの要素が存在するかのチェックできる。便利。 y<-c(1,2,3) x<-c(1,2,2,3,4) x %in% y出力。 TRUE TRUE TRUE TRUE FALSE 応用、ある特定の列名をデータフレームから除く dat <- dat[, !(colnames(dat) %in% c("X", "Y", "Z"))]http://rmecab.jp/wiki/in…

https://note.nkmk.me/python-pandas-read-excel/ https://pandas.pydata.org/pandas-docs/stable/generated/pandas.read_excel.html

https://note.nkmk.me/python-pandas-read-excel/ https://pandas.pydata.org/pandas-docs/stable/generated/pandas.read_excel.html

https://note.nkmk.me/python-pandas-read-excel/ https://pandas.pydata.org/pandas-docs/stable/generated/pandas.read_excel.html

https://note.nkmk.me/python-pandas-read-excel/ https://pandas.pydata.org/pandas-docs/stable/generated/pandas.read_excel.html

まず、setup.exeで python3-pip や python2-pipをインストールしておく pip で最初は失敗したが、rebaseallでできるようになった。 pip3 install --upgrade pip python3 -m pip install pandas

data { int N; int K; matrix[N,K] X; vector[N] y; } parameters{ real a; vector[K] b; real<lower=0> sigma; //vector<lower=0>[K] sigma2; real<lower=0>[K] sigma2; } transformed parameters{ vector[N] mu; mu=X*b+a; // mu=X*b; } model{ //b ~ normal(0,sigma2); b ~ double_ex</lower=0></lower=0></lower=0>…

多変量解析では、 （０）単独変数の調整 (0-1)カテゴリ化すると楽 cut関数 (0-2)少なすぎる変数の除去 （１）説明変数間の相関を調べる →とりあえず、主要っぽい変数を１０個くらいとりだすとわかりやすい http://kusanagi.hatenablog.jp/entry/2014/07/23/2…

x1<-sample(1:100) x2<-sample(1:100) y<-2*x1+0.01*x2+rnorm(100) p<-data.frame(y,x1,x2) lm(y~x1+x2,data=p) f<-function(r){ sum((y-r[1]*x1-r[2]*x2)^2) } optim(c(1,3),f) ##Lasso f2<-function(r){ sum((y-r[1]*x1-r[2]*x2)^2)+20000*sum(abs(r)) } o…

特定の都道府県の賃貸物件の着工数をえる。 国交省の【住宅】利用関係別 構造別 建て方別 都道府県別 戸数 (Excel ファイル 3,225KB) をダウンロード http://www.mlit.go.jp/sogoseisaku/jouhouka/sosei_jouhouka_tk4_000002.htmlreadxlパッケージの利用 htt…

係数の和＝０の制約をいれる場合。 ##Fit with categorical variable 2 x0<-sample(1:4,100,replace=T) library(dummies) x<-dummy(x0) x1<-x[,1] x2<-x[,2] x3<-x[,3] x4<-x[,4] a1<-2 a2<--2 a3<-10 a4<--10 y<-a1*x1+a2*x2+a3*x3+a4*x4+rnorm(100,sd=0.03…

ruby で文字列がJIS第２水準までかの判定 #-*= coding: utf-8 -*- def check_jis_dai2made_only? str begin puts "start" str_euc=str.encode("EUC-JP","UTF-8") rescue => eq puts eq return false end str_euc.split("").each{|s| #s2=s.unpack("H*")[0].t…

Rmarkdown で日本語PDF。 かなりはまる。 Windows7 https://qiita.com/Atsushi776/items/9ef1e5d744e2b91c61ee(1)Texlive をインストール →インストーラは途中失敗するので、isoイメージからダウンロードして使うのがよい(.iso) (2)RStudio のインストール (…

http://d.hatena.ne.jp/myopomme/20111214/1323865945

わかしやすい http://d.hatena.ne.jp/mrgoofy33/20101027/1288133054 http://webos-goodies.jp/archives/51213844.html より 先ほども少し触れましたが、 rsync ではコピー元のディレクトリ名の最後に "/" を付けるかどうかで挙動が変わります。例えば、先ほ…

Rで等高線など３軸データのプロット ## d<-data.frame(y=tmp2$LIFE_TIME,x1=tmp2$TINRYOU,x2=tmp2$TIKUNENSUU) d2<-d%>% dplyr::filter(x2<=25 & x1<=10^5) %>% dplyr::group_by(x1=10000*round(x1/10000),x2=2*round(x2/2)) %>% dplyr:: summarise(y=mean(y…

https://www.listendata.com/2016/08/dplyr-tutorial.htmlsummarise_ifとかsummrise_allとかのがよさげ 基本 x<-rnorm(1000) y<-rnorm(1000) z<-rnorm(1000) g<-sample(1:5,1000,replace=T) s<-data.frame(x,y,z,g) s%>% group_by(g) %>% dplyr::summarise_e…

とりあえず。 https://cran.r-project.org/web/packages/grpreg/vignettes/quick-start.pdf grpreg パッケージの利用 ##2018.05.22 ##Dummy test x<-factor(c("M","M","F")) dummy(x) y<-factor(c("A","B","A")) dummy(y) dummy.data.frame(data.frame(x,y),…

Rでgroup lasso xx b c y x #install.packages("grplasso") library("grplasso")dataans coef(ans)

GMPのインストール

ggplot2で時系列的なデータを２つ並べた図を作る例。図を並べる x1a<-cumsum(rnorm(1000,mean=0,sd=1)) x1b<-cumsum(rnorm(1000,mean=0,sd=1)) m1<-seq(0,2,length.out=length(x1a)) y1<-x1a*m1 y2<-x1b z1<-x1a z2<-x1b/m1 x1<-1:length(y1) set1<-factor(c…

cygwin にcronを入れる rm /var/run/cron.pid cron-config cygrunsrv --start cron #チェック cygrunsrv --query cron まぁまぁ時間かかるので注意失敗した場合のログは、 cat /var/log/cron.logもしくは、 cronevents で実行されたか確認できる。 また、cro…

Rmpfrのインストール （オフライン）は結構めんどくさい。 (1)まず、ネイティブのGMPのライブラリのインストール データをとって、リモートにおくる >|ruby| wget https://gmplib.org/download/gmp/gmp-6.1.2.tar.bz2 scp gmp_6*.tar.bz2 xxx@yyy: |

miniCRANを使えばオフラインインストールは簡単らしい。→うまくかない。 https://cran.r-project.org/web/packages/miniCRAN/vignettes/miniCRAN-introduction.html https://blog.recyclebin.jp/archives/4587install.packages("devtools") https://stackove…

Rstanの練習 ランダムウォークの誤差分散の推定、MA形。 Rのコード library("rstan") ep<-rnorm(105, mean=0,sd=1) theta<-(1:1000)^-0.5 y<-NULL for(i in 1:100){ y[i]<-sum(theta[1:(i)]^0*ep[i:1]) } #y<-rpois(100,lambda=30) data <- list(T = 100, y …

Warning message: In install.packages("rstan_2.13.2.tar.gz", repos = NULL, type = "source") : installation of package ‘rstan_2.13.2.tar.gz’ had non-zero exit statusでＯＫ install.packages("rstan_2.8.2.tar.gz", repos = NULL, type = "source")

Warning message: In install.packages("rstan_2.13.2.tar.gz", repos = NULL, type = "source") : installation of package ‘rstan_2.13.2.tar.gz’ had non-zero exit status