検定を繰り返し何度もやると，「p値の調整をしろ」と言われます．これは多重比較の問題と呼ばれるもので，何度も検定を繰り返すと，差がないのにp値が小さいものが偶然に観測されやすくなります． この多重比較の問題を理解するためには， *　p値は絶対的な正しさの目安にはなれないこと *　p値はきまぐれ (確率的)で，たまたま小さかったり，たまたま大きかったりすること を知っておく必要があります． まったく差がない比較では，p値は一様分布に従って決まる 次の質問をされたらなんと答えますか． 「２つのデータを比較するときに，両者にまったく差がなければ，p値はどんな値をとる？」 統計的に言えば「帰無仮説が正しいとき」のp値は？という問題です． 答えは，1に近い値です (ウソです)．そうではなく，答えは， ０から１までの値をとる一様分布に従ってランダムに決まる ということです． この事実は数学的に証明されて

パッケージ紹介ページを作成したかった 最近Rパッケージを作り、せっかくだからpkgdownのページを作ってみたいなと思ってちょっと試した結果をメモしておきます。 パッケージを作るときの（追加）作業 RStudioのプロジェクト機能を使用して、GitHubと連携してパッケージを作成済みであることを想定します。 happygitwithr.com Reference manualのファイル（Rdファイル）はroxygen2の機能を使用して作成しておきます（Rのソースファイルにコメントとしてreference manualファイルの生成に必要な内容を所定のタグを使って定義する）。 roxygen2.r-lib.org pkgdownにはreference manualファイルの内容を見栄えの良いページに変換してくれるので、とてもありがたいです。 pkgdownでは 色々できる ようです（他の機能

この記事は統計・機械学習の数理Advent Calendar21日めの記事です。 正直数理的な要素を詰める時間が全く取れず、それでもなにか記事を書かなければという使命感から、今年読んだ本の紹介をすることにしてお茶を濁そうと思います。 かねてより本は割と取捨選択をするタイプで、図書館や書店でよくよく吟味してから買うのですが、なんだかんだ統計学の書籍はノールック購入してしまうのは未だに癖として抜けません。 今回に至っては本当に今年購入したのかすら定かではありませんが、記憶と出版年から「多分今年買ったんだと思います」という積読本を選び取り、今年のうちに流し読みだけでもしておこう、という雑な記事になります。 どれも良い本です。モチベーションのある人は是非買ってみてください。 免責事項 3月から5月まで休職していたときにはほとんど統計学や機械学習に関する本を受け付けない状態であったのですが、運良く3

Rで時刻を表示すると、デフォルトでは秒までしか表示されません。ログを管理するときに、ミリ秒以下も出せないと色々と不便なので、方法を調査しました。 time <- Sys.time() print(time) #> [1] "2024-12-24 06:54:23 JST"?Sys.timeを確認すると、digits.secオプションで小数点何ケタまで表示するか調整できるとわかります（https://helpr.atusy.net/?q=Sys.time&pkg=base&topic=Sys.time）。ただし、精度はマイクロ秒まで（6ケタ）。 withr::with_options(list(digits.secs = 6), { print(time) }) #> [1] "2024-12-24 06:54:23.650895 JST"オプションを弄らずにやりたい場合はformat関数を

Rで計量経済や統計分析やる時に、結果をきちんと理解しながらモデル作りたいし、できたモデルの結果を書き出すのも間違いなくやりたいですよね。 新しい回帰分析表のパッケージを発見したので、ざっと試してみました。 Rの回帰分析のパッケージ {modelsummary}パッケージ さっそくインストール シンプルに回帰分析の出力 出力フォーマット コンソールに表示 情報の編集 見た目 回帰分析表の要素 標準誤差・t統計量・p値・信頼区間 表のタイトルとメモ 変数名の変更 モデルフィットなどの統計量 P値の星 小数点以下の調整 行の追加 で、estimatrは使えるのか？ まとめ Rの回帰分析のパッケージ Rでの回帰分析の表を書き出すのには {stargazer}というパッケージがあって、かなり柔軟にかつ自動的にhtmlやLatexに書き出しができるのですが、作者の都合か、更新が止まってしまってます。更

それでは ScheduleFree の使い方を見ていきましょう。といっても、基本的には従来のoptimizerとなんら変わりません。差分は以下の2点です。 scheduler が不要になること optimizer.eval()とoptimizer.train()を適切なタイミングで呼ぶこと 例えば、AdamWとなんらかのschedulerを使う場合のよくあるモックを考え、そこからの差分として骨子を表現してみると、以下のような感じになるかと思います[4]。 import argparse import torch import torch.nn as nn import torch.nn.functional as F from pathlib import Path +from schedulefree import RAdamScheduleFree from torch import

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに こんにちは、事業会社で働いているデータサイエンティストです。 この記事は、新しい統計学・機械学習のモデルの提案や、実践的なR言語のテクニックではなく、 どちらかというとR言語のコミュニティが今後R言語をどうしていくべきかに対して、 R言語歴7年目の一個人として提案し、関心のある皆さんにも考えていただきたい内容になります。 具体的には、私の経験を生かして、R言語を用いたアルゴリズムのビジネス本番環境への実装する際に直面する本当の困難について色々紹介したいと思います。 R言語は実装に向いていないという言説は皆さんも普段よく聞くと思

「67.2歳で未婚男性の半分は亡くなっている」「有配偶男性より14年以上も早い」 2022年に公開された記事（※１）にこのような文章があり、インターネット上で継続的に話題になっている。もし、本当にそうであれば、原則65歳から支給開始となる公的年金を、未婚男性は平均して2年程度しか受け取らずに亡くなっている計算になる。この記事をもとに、未婚男性にとって公的年金制度は払い損であるとか、60歳からの繰り上げ受給をした方がよいなどとする言説もインターネット上によく見られる。 公的年金制度は長生きすることで所得が不足するリスクを社会で支えるものであり、結果的に短命に終わった者（老後の所得不足が生じなかった者）が受け取る年金が、その者が支払った保険料を下回るのは制度の必然だ。しかし、もし本当に未婚男性が極端に短命なのだとしたら、公的年金制度に不満を持つのも当然だろうし、年金の受給開始時期の選択の際にも

こんにちは。コグラフ株式会社データアナリティクス事業部の塩見です。 私は「カイ二乗検定」に対して、当初は納得できない部分がありました。やりたいことに対して、必要以上に複雑な手法のように感じたからです。同じような疑問を持つ方も多いのではないでしょうか。この記事では、私が「カイ二乗検定」を理解し納得するまでの過程をお伝えします。 結論から言いますと、一度頻度論を離れてベイズ統計の視点で考えてみたところ、実は非常に単純なことを行っていると気づきました。その後、カイ二乗検定を再び考え直すと、すんなり理解できたというお話です。 カイ二乗検定の手順まず、サイコロを何度も投げ、出た目の回数（実測値）を記録します。偏りのないサイコロでは、全ての目が均等に出るはずです。この理論的な回数を理論値と呼びます。 次に、実測値と理論値の差を計算し、その差を二乗してから理論値で割ります。この計算結果を「ズレ」と呼びま

2024年7月9日付けで、内閣府のウェブサイト上で、4月に開催された「学術論文等の即時オープンアクセスの実現に向けた国の方針に関する説明会」の関連資料として、同基本方針及びその実施に当たっての具体的方策に関するFAQをまとめた文書が公開されています。 即時オープンアクセス（OA）の対象や方法、運用の方針に関する18の質問とその回答が掲載されています。 研究DX（デジタル・トランスフォーメーション）（内閣府） https://www8.cao.go.jp/cstp/kenkyudx.html ※「講演会等」の項目に「FAQ（令和6年7月9日公表）（PDF形式：179KB）」が掲載されています。 学術論文等の即時オープンアクセスの実現に向けた基本方針、及び学術論文等の即時オープンアクセスの実現に向けた基本方針の実施にあたっての具体的方策に関するFAQ（令和6年7月9日） [PDF：179KB]

R言語では、関数の引数は原則すべて値渡し。なので、関数を呼ぶたびに変数のコピーが作られている。 C++でも原則は値渡しで、参照渡しにするには"&"をつけて指定する。 とすればRcppで関数を作った場合もそうか思っていたが、違った。 IntegerVector NumericMatrixなど、Rcppで定義されたクラスの変数は参照渡しになる ただし、変数の型変換が必要なケース、たとえば、IntegerVectorで定義されている引数に実数ベクトルを与えると、参照が崩れて値渡しになる Rユーザーは普段、実数と整数を意識していないことも多いので場合によっては想定外の挙動をする可能性がある。ご注意あれ。 ##例 与えられた引数の第1要素を２に変更するという関数をRcppを用いて定義している。引数が値渡しであればこの結果は関数の呼び出し元には影響せず、参照渡しであればもとの変数も変更される。 比較の

はじめに こんにちは、事業会社で働いているデータサイエンティストです： 最近は会社のとあるプロジェクトで、R言語の重い処理を高速化する必要が出たので、C++とRの連携用パッケージのRcppをやり始めました。 処理対象のデータ量にもよりますが、場合によって計算時間が9割くらい削減されます。 そこで、Rcppの不思議で危険な挙動を発見したので、挙動の背後のメカニズム、理由、および対策を皆さんにお伝えしようと思います。 ただ、わかりやすさのため、コンピューターサイエンスの専門用語はなるべく使わないようにします。 詳細に興味ある方はこちらをご参照ください： では早速説明に入ります！ 勝手に変数を変えられた！！！ まずは、問題を単純化するため、xに2をかける処理の関数をC++（Rcpp）で実装しました。

「現場を知っていること」は本当に「良いこと」なのか!?：「おまえは現場をわかっていない」というフィードバックが、相手に1ミリも刺さらない理由!? 「現場を知っている」「現場を知らない」という言葉があります。 ・ ・ ・ 我が国は「現場志向（Genba）」の強い国のひとつなのかもしれません。 「あいつ、現場がわかっていないよね」 「あのひとは、現場をわかっていないよ」 なんて他者から後ろ指さされて「指摘されようもの」なら、 「あなたは、役に立たない」 「あなたでは、話にならない」 という「烙印（負のスティグマ）」を貼られたかのように聞こえてしまいます。 それほどまで「現場」という言葉はひとびとを魅了するロマンチックワードです。「現場を知らない」という言葉は、「破壊力が強い」。 ▼ しかし、この「現場を知っている」という言葉なのですが、よくよく考えてみると、本当にその「奥底」には、たくさんの意