因子分析（いんしぶんせき、英: factor analysis）は、分析対象を多数の項目で測定・評価したデータ(=観測データ)の連成を分析し、データの裏にある本質的な原因(=因子)を統計的に推定する多変量解析の手法のひとつ。 心理学におけるパーソナリティの特性論的研究など、心理尺度の研究手法として使用される。 モデル式の形状などから主成分分析と混同されることもあるが、主成分分析は観測データから合成スコアを構築することが目的であるのに対し、因子分析は観測データが合成量であると仮定し、個々の構成要素を得ようとすることが目的であり、両者は因果関係を異にする。 適用の例として「器用さ」の個人差の検討が考えられる。A, B, Cの3人はそれぞれ「ジグソーパズル」「彫刻」「時計の分解」をある速度で器用にこなすことができるとしたときにA, B, Cの器用さをどのように評価すればよいかを考える場合、3人が

クラスタリング (clustering) とは，分類対象の集合を，内的結合 (internal cohesion) と外的分離 (external isolation) が達成されるような部分集合に分割すること [Everitt 93, 大橋 85] です．統計解析や多変量解析の分野ではクラスター分析 (cluster analysis) とも呼ばれ，基本的なデータ解析手法としてデータマイニングでも頻繁に利用されています． 分割後の各部分集合はクラスタと呼ばれます．分割の方法にも幾つかの種類があり，全ての分類対象がちょうど一つだけのクラスタの要素となる場合(ハードなもしくは，クリスプなクラスタといいます)や，逆に一つのクラスタが複数のクラスタに同時に部分的に所属する場合(ソフト，または，ファジィなクラスタといいます)があります．ここでは前者のハードな場合のクラスタリングについて述べます．

本記事で触れているGoogleアナリティクスは、ユニバーサルアナリティクス（UA）を前提としています。 GA4を対象とした記事ではございませんので、ご注意ください。 Google Data Studioとは Google社が2015年5月に発表した、Google Analytics 360 suite製品シリーズの一つで、データビジュアライズを行う製品、Google Data Studio 360の無償版です。（無償版をリリースしたのは5月24日。） ただし、現在（2016年7月9日時点）日本ではまだ利用できないようです。 無償版の制限としては、1ユーザーが作成できるレポートの上限が5個、とされています。（今回のレビューでは1個だけしか作成しましたので、本当に上限が5個までなのかは確認していません。） 対象となるデータは、Googleアナリティクス、Google Big Query、Goo

概要 関係データ学習の学習のために，自分で実装して理解する． ツイッターのフォローフォロワー関係を使って，グラフラプラシアンを求めスペクトルクラスタリングを行った． その結果，なんとなくクラスタリングできた． また，確率的ブロックモデルによる非対称データクラスタリングをStanによって実装しようとした． これはうまくいっていない． はじめに 関係データ学習という本を買って読んでいる． www.kspub.co.jp 本の内容は前半と後半に分かれていて，前半は関係データをスペクトルクラスタリングしたり，確率的ブロックモデルでクラスタリングしたりする話．後半は行列分解やテンソル分解の話になっている． まだ前半の途中までしか読めていないが，予想していたよりも数式が簡単だったこともあり，実際のデータに適用してみたくなった． 数年前に書いたツイッターのフォローフォロワー関係をダウンロードするスクリプ

マイクロソフト、「Text Analytics API」を複数言語で利用可能に：非構造化データから構造化データへの変換を支援、日本語にも対応 マイクロソフトは、非構造化データを分析して構造化データ抽出するAPI「Text Analytics API（プレビュー版）」を複数の言語で利用できるようアップデート。日本語にも対応した。 米マイクロソフトは2016年6月21日（米国時間）、構造化データ抽出API「Text Analytics API（プレビュー版）」を複数の言語で利用できるようアップデートしたと発表した。 Text Analytics APIは、アプリケーションに組み込むために視覚、音声、言語、知識といった知的情報の構造化を支援する「Cognitive Services」に含まれる、言語識別のためのAPI。人工知能アルゴリズムを用いた自然言語処理を行い、一般的な文章（非構造化データ）

このブログでは、ロジックツリーやシックスシグマなど、さまざまな分析手法を紹介しています。 しかし、分析の方法自体はその表現方法まで細かく分けていくと、さらに細分化されていきます。 この記事では、実務上よく使う以下4つの分析手法を可視化事例を交えて紹介していきます。 ロジカルに物事を考える上で、必須となる考え方ばかりです。 分析手法１．ファクター分析 ファクター分析とは、ある指標に対して、いくつかの変動要因がある場合に、どの変動要因が指標に対して大きな影響を与えているかを把握するための分析です。 ファクター分析の代表例には、売上、利益の関係や、ビジネスプロセスに基づいた付加価値の分析があります。一般的にファクター分析は、数字だけではわかりにくいので、チャートにして視覚化して行われます。 ウォーターフォールチャート ファクター分析では、次に示すようなウォーターフォールチャートがよく用いられます

3Cは、「市場・顧客（Customer）」「競合（Competitor）」「自社（Company）」のそれぞれの英単語の頭文字をとったもので、それぞれのCは市場を分析する重要な要素となっています。３Cは市場環境を分析するためのフレームワークです。 3Cは、ビジネスの環境には、市場（＝顧客）という買い手、自社という売り手、そして競合が売り手として存在するという事業環境におけるプレイヤーの構成要素に着目しています。3Cのそれぞれの要素を調べることで、事業環境を分析できます。 3Cは、元マッキンゼー、現ビジネス・ブレークスルー代表の大前研一氏が提唱したフレームワークであるという説があります。 3C分析を使うタイミング 3C分析は、事業戦略を策定するプロセスで使います。マクロ環境分析で、政治や経済など、自社だけの努力では制御ができない要因を分析してから、市場のミクロの分析するときに3C分析を利用し

3C分析とは、外部環境の市場と競合の分析からKSFを見つけ出し、自社の戦略に活かす分析をするフレームワーク。 3Cとは、「市場（customer）」「競合（competitor）」「自社（company）」の頭文字。 ・市場分析のポイント 自社の製品やサービスを、購買する意志や能力のある潜在顧客を把握する。具体的には、市場規模（潜在顧客の数、地域構成など）や市場の成長性、ニーズ、購買決定プロセス、購買決定者といった観点で分析する。 ・競合分析のポイント 競争状況や競争相手について把握する。特に、競争相手からいかに市場を奪うか（守るか）という視点を持ちながら、寡占度（競合の数）、参入障壁、競合の戦略、経営資源や構造上の強みと弱み（営業人員数、生産能力など）、競合のパフォーマンス（売上高、市場シェア、利益、顧客数など）に着目する。競合との比較は、自社の相対的な強みや弱みの抽出にも役立つ。 ・自

こんにちは、買物情報事業部でサーバサイドの開発を担当している荒引 (@a_bicky) です。 今回のエントリでは R で A/B テストの結果検証を行う方法の一例について紹介します。 エンジニアでも自分の関わった施策の効果検証のために簡単な分析をすることがあるかと思いますが、そんな時にこのエントリが役立てば幸いです。 なお、次のような方は対象外です。 A/B テストや KPI の設計に興味のある方 この辺には全く触れません プログラミング初心者 わからない単語が大量に出てくるでしょう R で統計学や機械学習の手法をバリバリ使いたい方 世の中の “分析” の多くは集計処理がメインです Python, Julia など既に分析する上で使い慣れた言語・ツールがある方 今回のエントリ程度の内容であればわざわざ乗り換える必要もないでしょう OS は Mac を前提として説明するので、Windows

本稿では統計学・データマイニング・機械学習関連書籍について 内容が易しいこと。数学力（特に微積・線形代数）を求められないこと 入手しやすいこと。絶版や学会に入らないと入手不可などではない、値段が安いこと 実務に繋げやすいこと。 持ち運びしやすいこと。忙しい新社会人が通勤中や休み時間ポケットからさっと取り出し、継続して勉強出来ること を主眼に選定したお薦め書籍を紹介します。 （満たせない要望も多いですが） 主な対象者は、文系で数学や統計学をやってこなかった、 プログラミングもわからない（Excelで四則演算やマウス操作くらいは使える） けどいつかマーケティングやデータマイニングやってやるぜ！ って考えてる新卒の方です。 筆者自身は経済学科出身の文系で、あまり数学力に自信がないなりに Web企業でデータマイニングをしているという人間です。 ここで紹介している内容で 「統計学・機械学習・データマ

富士通研究所は5月1日、複雑で大規模な業務アプリケーションから、業務ロジックの複雑度を可視化する技術を開発したと発表した。新技術により、アプリケーション資産を簡易的に分析するだけで業務ロジックを可視化できるという。同社によると、同種の技術の開発は世界初とのこと。同技術は2016年度の実用化を目指し、さまざまな業種や多様な言語の業務システム分析に適用・検証していく意向だ。 企業で運用している業務アプリケーションは長年の開発保守により複雑化していることが多く、機能強化や改善などビジネスの環境変化に即した迅速な対応が難しくなっているという。とりわけ業務アプリケーションの機能追加などで必要となるアプリケーションの実態把握において、特に他社が開発保守したプログラム資産を活用する場合は、人手による分析が必要で多大な時間を要することから、重要な課題になっているとのことだ。 しかし、従来はプログラムの大き

相関係数とは？ 相関係数については、８月のエントリーを参照してもらうと良いかと思います。 「相関係数」ってなんですか？ -意味と利点と欠点をわかりやすく- - Data Science by R and Python 簡単に説明しておくと、相関というのは「2つの変数の間に存在する、直線的関係」を指しています。相関係数というのは、その直線度合いを0~1の数字で表したものと言えます。ただし、値には大小関係しかありません（相関係数0.8は、相関係数0.4のときよりも2倍相関が強いという意味ではないので注意してください）。 さて、データの分析・解析に関わらず、いくつかの変数があるデータでは、相関係数を計算して、変数の間に関係があるかをチェックするのが一般的です。前のエントリーにもあるようにこれは「直線的な関係」しか調べられないですし、色々と制約もあり、いちいち確認するのは面倒ですが、それでも使い勝

「畳み込み（畳み込み積分）：convolution」をできるだけ簡単に説明してみる。 畳み込みは電気回路の学習で必ず登場する次のようなもの。 関数f(t)と関数g(t)の畳み込みは∫f(τ)g(t-τ)dτで定義される。 覚えてしまえばそれまでだけど、そもそも「畳み込み」とは何なのか？ 何のために使うのか。そして、なぜこのような式になるのだろうか？ □そもそも「畳み込み」とは何か 2つの異なる関数f(t)とg(t)から、新しい関数h(t)=∫f(τ)g(t-τ)dτを作る操作。 □何のために使うか 電気回路に信号を入力した時の応答関数を知るため。 別の言い方をすると、「電気回路に、ある信号を入力したら、どのような出力が得られるだろうか？」という問いに答えるため。 入力信号をf(t)、回路の単位インパルス応答（時刻0に値1を入力した時の応答）をg(t)で表すと、入力信号に対する応答関数が先ほ