はじめに みなさんこんにちは。データ分析グループでインターンをしています丹田 (@JinTanda)です。 今回、スタディサプリの合格特訓コースにおける、『コーチの声掛けと学習継続の関係性』を自然言語処理の観点から分析しましたので、ご紹介いたします。 概要 スタディサプリには『合格特訓コース』という、コーチが生徒の勉強計画やモチベーション向上、勉強に関わる種々の悩み事の解決をテキストチャットを通してサポートするプランがあります。 「コーチのどのような発言が生徒との良い関係性を築き、学習行動を促すことができるか」というのは生徒の継続的な学習を実現するために重要な分析軸です。 これまでのサービス運営の経験から、コーチのポジティブな発言が重要であるという仮説はあったものの確証は得られていませんでした。 そこで今回、コーチの発言からポジティブな単語を取り上げ生徒の学習継続率との関係性を分析したとこ

THE GUILD勉強会 #03「データ×UXデザイン」資料 データ分析のトレーニング「データ道場」など日経のデータドリブン関連の施策について

自己紹介 みなさん、はじめまして。 Aidemy 研修生の 加藤正義 (加藤正義 (@Kato_Justice) | Twitter) です。昔はテレビ東大生として、時々バラエティ番組とかに出ていました。 〈●〉EYE-CATCH〈●〉 フィーチャリング関係で繋がった日本語ラッパーのコミュニティをグラフ化すると、以下のような構造をしている。 ノードの色は派閥を表し、媒介中心性が大きいほどノードのサイズが大きい。ラッパーの派閥は フリースタイルダンジョン組 KGDR + RHYMESTER + 愛国ラッパー達 (韻が固い) 独立したその他ユニット という具合で分かれた。 媒介中心性の最も高いラッパーはKEN THE 390だった。 ラッパーは好き嫌いが激しい 突然ですが、僕は日本語ラップが好きです。しかし、当のラッパー同士がお互いのことを無条件で好きかというと、どうやらそうではないようです。

マンションポエム。それはマンション広告にちりばめられた詩的キャッチコピー。 折り込みチラシや、駅や電車内の広告などでよく見かけると思う。「洗練の高台に、上質がそびえる」（「プラウドタワー白金台」野村不動産より）といったあの名調子のことだ。 このマンションポエム観察をライフワークにしているぼく。今回はさらに踏み込んだ分析をしてみよう。

こんにちは、らくからちゃです。 以前ぶらっとインターネットをぶらぶらしていたら、こんな記事を見つけました。 『パナマ文書』の問題については、いいなー偉い人は沢山お金持っててさー、と遠い世界の話にしか感じられませんでしたが、解析手法については中々興味深いお話でした。 今回の流出事件では、2.6TBもの大量のデジタルデータが流出されたと言われています。しかし、このデータの中から、資金の流れの関連性を分析していくのは、人力では不可能に近い作業です。そこで今回力を発揮したのが『グラフ解析』という手法です。 グラフ解析とは何か グラフというと、折れ線であったり縦棒であったり、そういった数値を可視化するツールとしての印象をお持ちかもしれませんが、数学の用語としては様々な要素と要素の関係性を分析するツールという意味で用いられます。 つーても分かりづらいかもしれませんが、『人物相関図』のようなものと言えば

2016年最初の記事ということで、もはや1月下旬に差し掛かりつつありますがこちらでは改めて、あけましておめでとうございます＆本年もよろしくお願いいたします。 で、新年一発目のお題は。。。実は似たようなお題で過去にも記事を書いていますが（笑）、年も改まったことなので今一度備忘録的におさらいしてみたいと思います。観点としては、どちらかというと「これからデータ分析のカルチャーを職場に導入していくとしたらどうやってステップアップさせていくか」みたいなところです。なお過去記事はこちら。 この辺の話題を踏まえながら、過去記事リンクのオンパレードで恐縮ですがちょっと一席やってみます。なお以下に挙げる「ステージ」はあくまでも一例であり、業界によってはもっと高度な方向に展開させられる（orもっとプリミティブなレベルに留まる）こともあるので、参考程度に見てもらえればと。 特にここでは「まだデータ分析を始めてい

今回は「ほぼＲしか使ったことがない」人間*1が、できる限り二者の優劣をくっきり述べる。 僕はほとんどＲしか使ったことがない。Pythonはtfidfやクイックソートをライブラリ無しで実装した程度。 前半の主張は以下である。 「過去のＲでの１０回程度の解析において、Ｒで不十分さを感じてPythonを使った経験は１度だけ、しかも部分的にしかなかった。Ｒの使いにくさを感じることも最近はだいぶ無くなった。だから初学者には「事足りる」Ｒを勧める。」 前半の主張 今までにＲでやった解析の内容は大体以下である。 （未発表）は途中で頓挫した、もしくは現在進行中／契約により詳細＆解析結果の公開不可能のプロジェクトである。 [ビジネス・製造業] 米国新車価格の線形重回帰分析（授業の期末課題） [ビジネス・不動産] 不動産賃貸価格の線形重回帰分析（発表スライド） [ビジネス・ＩＴ] ＥコマースサイトのＡＲＩＭＡ

朝日新聞｜サッカーW杯2014日本戦（日本―コートジボワール｜）ツイート分析ページ。ツイッター上で選手名や監督名が含まれているツイートを抽出して、そのツイート件数を画像の大きさで示しています。

マンガ家。1950年、静岡県生まれ。デビュー作『仮面ライダー』（原作・石ノ森章太郎）。代表作『ゲームセンターあらし』など。85年からパソコン通信を開始。94年、小説家デビュー。2011年、早稲田大学大学院人間科学研究科修士課程修了。13～21年、京都精華大学マンガ学部教授。

はじめに 最近超人気の漫画として私のTwitter TLを賑わす作品、その名も「進撃の巨人」。 これだけ人気なんだからきっと面白いに違いないのですが、 なんか絵が怖そうだし、人がバンバン死んでてグロいっぽいという噂を聞くので、 なんとか漫画を読まずに、それでいて進撃の巨人のキャラについては知りたい、 そう願う潜在的進撃の巨人ファンも全国に70万人くらいいらっしゃると思います。 そこで、データから進撃の巨人にどんなキャラが登場するか推測してみましょう。 扱うデータとして、pixivのタグ情報を利用します。 商品レビューコメントなどとは違い、ファンの創作活動がダイレクトに反映されるサービスなので、 そこに付与されるタグ情報は、ファンの熱（過ぎる）いメッセージが込められているに違いありません。 今回、以下のような縛りを入れています。 1．勿論原作は見ない 2．pixivのタグ情報は参照するけど、

僕の得意分野は計量時系列分析(Econometric time series analysis)なんですが、実際にソーシャルwebサービス企業でデータ分析に取り組む上ではそんなに細かいことやる必要はない、というかそこまで正確な分析をする前に実務上色々やるべきことがある、ということは結構多いです。 実際のところ、本当は異常値検出・外れ値検出みたいな手法でゴリゴリやりたい（例えばyokkunsさんが提供なさっているRの{ChangeAnomalyDetection}パッケージとか、はたまた{tsDyn}パッケージでも実装されているようなSETARとか、もしくは{MSwM}パッケージでやれるマルコフ状態転換モデルとか）んですが、Rを使ってもらうだけでも一苦労という現場ではそうも言ってられないという実態もあります。 ということで、もう何もかも面倒なのでお手軽に「KPIの上がり下がりを見て『これ凄く

まずは、基本的な用語と、Rでの基本的なコマンドをここで学ぶ。何も知らずに、回帰分析や主成分分析、クラスター分析をするのは「無謀」というもの。気持ちは理解できなくは無いのだが。以下のトピックを見て、一つでも知らない用語があるならば、先に進まずに、最初から順にチュートリアルをこなした方が良い。また、理解できている人も、一般的な教科書とは異なった説明もある。軽く目を通した方が良いかもしれない。 文系のための「行列の構造」 文系のための「行列」（１）：行列データの構造について 文系のための「行列」（２）：多次元データについて 文系のための「行列」（３）：行列の種類について 文系のための「行列」（４）：「変数」と「添字」について 文系のための「行列の演算」 文系のための「行列の演算」：行列の「足し算」と「引き算」 文系のための「内積」（１）：行列の「掛け算」の方法 文系のための「内積」（２）：行列の

追記：「経済学が〜」と思われた方はぜひリンクしてある「文部科学省：2011年7月：公立義務教育諸学校の学級規模及び教職員配置の適正化に関する検討会議（第3回）　議事録」の前半部を読まれることをお勧めします。参考人として呼ばれた方々もこれは測定自体が難しい話ですと言っています。 NHKニュース：“教職員定数 ５年で１万人削減”案のはてなブックマークコメント いや、財務省はあながちウソ言ってない。少人数学級化だと、上位学力層の競争が緩み、上位学力層が劣化する副作用がある（クラスサイズパズルと言う）。経済学者が立証してるが教育学者は認めたがらない を読み、Googleでクラスサイズパズルを検索したら以下の議事録が見つかった。簡単な話ではないらしい。 文部科学省：2011年7月：公立義務教育諸学校の学級規模及び教職員配置の適正化に関する検討会議（第3回）　議事録 少人数学級というのは、当然ながら、

佐賀県武雄市が市のホームページを廃止し、Facebookページに移行したのは去年の8月のことだ。 ソーシャルメディアを活用した先進的な取り組みとして賞賛される一方で、本当に市民サービスにつながるのかという懐疑の声も多かった。 今回、Facebookへの移行に関する分析レポートが発表された。 武雄市Facebookページ分析から見られる、自治体がソーシャルメディアで実現できること http://archive.is/46Fh6 このレポートの内容は妥当なのかを分析してみる。 移行後半年で目的を達成武雄市が市のホームページをFacebookページに移設した目的は、以下の4つだそうだ。 1.市職員と市民がコミュニケーションを取る機会を設け、両者をつなげていく。（インタラクション性） 2.市の活動や施策などの情報を、素早く発信し、市民に限らず広く拡散する（拡散性） 3.SNSを使って広く誰でも見せ

とある出版企画でそういうお話を書かなければいけないので、社会学におけるいわゆる「質的研究」と「量的研究」の区別についてメモを書いておく。 結論から言うと、次のように考えるとミスリーディングである。つまり、「まずある＜理論＞があって、それを＜実証＞する手段として質的な研究と量的な研究がある」という考えである。こういう考え方は、混乱のもとであるから、避けたほうがよい。多くの社会調査論のテキストでは調査手段の選択として「質的調査」と「量的調査」を選択することがあるかのように書かれているが、少々説明不足である。そうではなく、さしあたり量的研究とその他のタイプの研究が、量的研究とどのような関係にあるのか、と考えたほうがスッキリする。 分野外の研究者からすれば見えにくいが、実際には量的研究と言っても様々である。が、現状からして、「複数のパラメータを含むモデルを構築し、それをデータに当てはめて統計学的推