多変量正規分布の密度関数を求めようと思うと、 R の mvtnorm パッケージの dmvnorm 関数が有名ですが、 少々計算に時間がかかるので、 繰り返しこの関数を適用する場合、 ボトルネックになってしまうことがあります。 そこで、解決方法を探していると、 計算を高速化したライブラリが提供されているようなので、 そちらを使ってみることにしました。 この記事では、その高速化版の関数と、 元の dmvnorm の計算時間を簡単に比較してみることにします。 高速化版の多変量正規分布のライブラリ インストール 密度関数 計算時間の比較 dmvnorm の計算時間 dmvn の計算時間 まとめ 高速化版の多変量正規分布のライブラリ dmvnorm の計算時間の問題を解決してくれるのは、 その名の通り mvnfast というパッケージです。 このパッケージでは、 高速化された多変量正規分布の計算を

この記事はR言語 Advent Calendar 2023の8日目の記事です。 qiita.com 本当に9割が知らないかどうかは知らないです。 「R言語は遅い」と言われがちですよね。 個人的には困るほど遅いと感じたことは無いのですが、まあ速いに越したことはありません。 高速化のテクニックも色々あります。 予算がある場合はメモリとCPUを強化するのが手っ取り早いです。 qiita.com データの読み書きならreadrパッケージでも十分早いし、arrowパッケージという手もあります。 heavywatal.github.io qiita.com 追記：for文をlapply()やReduce()で高速化する方法もあります！ qiita.com 各種処理ではとにかくベクトル化することが高速化のコツになります。 ベクトル化してください。 ベクトル化しろっつってんだろ。 また、並列化が有効なケー

この記事について R Advent Calendar 2022 5日目です。 Rのカレンダー | Advent Calendar 2022 - Qiita ldccrとgibasaという自作Rパッケージの紹介をかねて、tidytextっぽいやり方によるテキスト分析をやります。 本家のText Mining with Rでは、英語のtidyなテキストデータ（tidy text）について、感情語を収録している辞書とinner_joinすることによって感情分析（というか単語のネガポジを判定するやつ）をおこなっているセクションがあります。この記事では、それと似たような感じで、日本語のtidyなテキストデータと季語を集めた「季寄せ」辞書とをinner_joinすることによって、テキストの季節感みたいなものを調べるというのを試してみます。 使用するデータ 題材としては、宮沢賢治『春と修羅』を使用するこ

準備 決定木（decision tree）分析をする際、まず目的変数の種類とアルゴリズムを決定する。 アルゴリズム CART CHAID ID3 / C4.5 / C5.0 目的変数の型 目的変数の型によって扱いが変わる 質的変数（2値変数）：分類木→目的変数が0/1, T/Fの場合はas.factor()でfactor型にデータ変換しておく 量的変数：回帰木 survivalオブジェクト （生起を表す2カラム） CARTはすべて対応、C4.5/C5.0は質的変数のみ ここではCARTアルゴリズムでツリーモデルを生成するrpartと、ランダムフォレストrangerを中心に説明する。 データセットと前処理 Default of Credit Card Clients Dataset データセットの主な留意点 30000行25変数 最初の列が識別子（ID）→除外 3列目SEX, 4列目EDUC

クラスター分析は 距離行列の生成（類似度行列ではない！） クラスタリングの実行 という流れになる。 それぞれのステップで、採用する 距離の種類 クラスタリングの方法 がチューニング変数となる。 この順に手順を見ていく。 行数、列数の多いビッグデータ向きのデータ形式であるMatrixパッケージに対応した距離行列についても説明する。 距離行列を生成する 類似度行列ではなく距離行列を作る。similarityではなくdistanceを作る。 直感的にはデータから距離の指標（どれだけ離れているか）ではなく類似度（どれだけ近いか）の指標を抽出し、そこからクラスタリングしたいケースが多いのだが、あくまで類似度指標に基づいた距離行列を生成するのである。 通常のdist関数では対応する距離の種類が少ないのでproxyパッケージを使う。 距離行列を生成するメソッドはdist(data, method="距離

In this article, we are going to compare pairs and ggpairs functions in R. 1. pairs() in Rpairs() function mainly used to plot a scatter diagram corresponding to each data frame. Syntax: pairs(data)This will return with Color, Labels, Panels, and by Group in-pairs plot. We will make use of mtcars package here. Let’s store some variable into data. Naive Bayes Classification in R » Prediction Model

リポジトリ http://github.com/uribo/190831_fukuokar15

こんにちは、小幡です。Rを学んでおります。 前回は「dplyr」パッケージを使ったデータ集計の7つの処理のうち、6つまでを勉強しました。列の追加、行のフィルター、データの要約とデータのグループ化などを組み合わせることで、1つのデータフレームなら自由に操作ができるようになった気がします。 今回は、前回と同じ「dplyr」パッケージから、Joinを行う関数について勉強します。Joinができると複数のデータを組み合わせて分析ができるようになるみたいです。また、「パイプ演算子」という、dplyrを使ったコーディングをよりシンプルに書けるやり方も教えていただけるそうです。 輿石さん：今まで1つのデータフレームに対して列や行を増やす、減らす、並び替える、要約するといった処理を勉強しました。今までやった6つの関数を組み合わせることで、1つのデータであれば小幡さんはかなり自由にデータを加工・集計できるよう

はじめまして、小幡のぞみ（おばた・のぞみ）です。私は大学でマーケティングを勉強しながら、ヴァリューズでインターンとして働いていました。そして今年の4月、新卒としてヴァリューズに入社しました！ ヴァリューズはデータ分析をもとに企業のマーケティングを支援する会社。いまや「データマーケティング」という言葉もあるくらい、データ分析とマーケティングは切っても切れない関係になっています。デジタルを通じて大量に集まってくるデータを、どう活用すれば事業の成長につなげられるのか。データ分析はこれからもマーケティングのより重要な課題となるはずです。 一方私はと言えば、大学ではマーケティングをずっと勉強してきましたが、データ分析は全くで…。しかし、自分でデータ分析ができるようになれば、今後マーケティングの仕事をする上で必ず役に立つはず。いやむしろ、絶対にこれから必要なスキルになるのではないでしょうか。 そんなこ