この記事はゲルマン先生（Andrew Gelman）の許諾を得て、Handy statistical lexiconを日本語訳したものです。元記事の用語集は現在も更新中です。英語に抵抗がない人はぜひ元記事を読んで下さい。訳語に関しては親しみやすさを重視し、多くの日本人にあまりなじみのないと思われる言葉や地名は変え、難しい熟語は避けました。また、訳注はリンク先の要約をしばしば含みます。 ここで取り上げるものはすべて重要な手法や概念である。それらは統計学に関連しており、よく知っておくべきにもかかわらずあまり知られていないものだ。それらに名前を与えることで、そのアイデアがもっと親しみやすいものになってほしいと思う。 ミスターP: マルチレベル（階層モデル）で回帰し、事後層別化（poststratification）する手法のこと。 秘密兵器: ある統計モデルを複数の異なるデータセットに繰り返しあ

ブラウザが立ち上がり、Jupyterが立ち上がる. 実行したディレクトリの情報が表示される. おすすめの使い方として、~/notebookというディレクトリを作って、githubで管理するのがいいという話も. 現代のエンジニアのための強力なメモ帳 Jupyter notebookのすゝめ 実行したディレクトリには、.ipynbというファイルが作成される. ノートブックの実行は、右のメニューからPython3を実行する. 直感的にわかるように、Cellという単位ごとにプログラムを実行できる. また、Cellのタイプをマークダウンにすれば、間にメモを記入できる. そのほか、ノートの操作にはショートカットも用意されている. matplotlibの表示matplotlibは、グラフを作成してくれるpythonのライブラリ. jupyterで、matplotlibのグラフを表示するには、先頭に %m

概要 Courseraというオンライン学習サイトで公開されているMachineLearningコースを修了しました。 もくじ どんな講座か 講座のアジェンダ なぜ受講したか 受講した感想 あると望ましい事前知識 はまりどころ 最後に どんな講座か 機械学習の主要なアルゴリズムを直感的に理解して、実際にプログラミングできるように教えてくれます。また、実装前にどのアルゴリズムを使うべきかの判断、テストとチューニングの方法、大量データの並列処理といった付帯トピックも言及されます。 講師はStanford UniversityのAndrew Ng(呉恩達)氏で、Googleの人工ニューロン研究プロジェクト発起人や百度の首席科学者として知られています。実際にこんな風にやっていますよ！という話を交えるので、画一的で教科書的な解説よりも聴きやすいと感じました。 ボリュームは結構重いです。「講義および4択

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 大晦日・お正月2日と、Courseraの機械学習コースに取り組んで全11週のうち3週目まで終えたので、振り返りつつオススメしてみます。 経緯 こんな記事を投稿したら、 2015年振り返り 反省 機械学習周りを(再)学習 → オーディオブックで「人工知能は人間を超えるか」を聴いて良書っぷりに感動した程度 @koher さんからCourseraの機械学習コースを勧めていただき、ちょうどまとまった時間確保出来るタイミングだったので取り組んでみました。 @_mono おそらくご存知だとは思いますが、機械学習は Coursera の Machin

ちょっと予告とは違う更新だけど。。 深層学習(Deep Learning)というものを知り、いろいろ調べて勉強したりした一年 紆余曲折がありつつも、Pythonを初めて扱い深層学習以外の機械学習全般に興味を持った 今取り組んでいることは、「機械学習を基礎から身につけ、pythonで実装していく力を身につける。」 ある程度参考書やサイトを漁った結果、自分なりのベストプラクティスが固まりつつある(前もこんなこと言った) このブログは息抜き程度の備忘録の位置づけにしたいので、技術ブログではないことをあやふやな記述の免罪符にしたい わりとまじで。切実に。 機械学習のベストプラクティス(今現在) 数学の事前準備 さすがに微分積分と行列、確率はある程度必要になる。 個人的に行列の微分が苦手。現役の学生なので覚えてるが、 一切を忘れてしまったという方は数学の参考書で数式慣れしたほうがいいかも 超初心者

pythonで開発をしていると、機械学習など試してみたいライブラリによく遭遇します。 ライブラリの評価は、普段利用している環境とは別の一時的な環境で行いたいことが多いので、 独立した環境を作成・管理出来ると便利です。 が、pythonのバージョンや環境を管理するツールがいくつかあり、 環境構築の際に混乱してしまったので、私が現状行っている方法のセットアップ手順をメモに残しておきます。 具体的には、以下の記事の「3. pyenv-virtualenvを入れる」の対応ができる環境を作ります。 pyenvとanacondaを共存させる時のactivate衝突問題の回避策3種類 | qiita http://qiita.com/y__sama/items/f732bb7bec2bff355b69 ここで作成した環境では、それぞれの操作に以下のコマンドを使います。 pythonのバージョンのインスト

base_domain = MODE.get('production') url_base = 'https://{}/v1/candles?'.format(base_domain) url = url_base + 'instrument={}&'.format(currency_pair.name) + \ 'count=5000&' +\ 'candleFormat=midpoint&' +\ 'granularity={}&'.format(granularity.name) +\ 'dailyAlignment=0&' +\ 'alignmentTimezone=Asia%2FTokyo&' +\ 'start={}T00%3A00%3A00Z'.format(start) response = requests_api(url) def requests_api(url, p

Pythonには「NumPy」や「Pandas」などデータ分析に役立つライブラリが充実しており、中にはPythonからRを呼び出すことができるライブラリもあります。 これからデータ分析を始めるエンジニアのために、Pythonでのデータ分析に関する入門スライドを13個まとめてご紹介いたします。 データ分析の初心者向けのスライドを中心にピックアップしていますので、これからデータ分析を学びたいというエンジニアの方はぜひご覧ください。 【ご自身のデータ分析スキルの価値を知りたい方はご相談ください】 ・市場価値を知りたい方の個別相談会 ・キャリアアップを目指す方の個別相談会 ・転職のタイミングや業界動向を知りたい方の相談会 10分でわかるPythonの開発環境 10分でわかるPythonの開発環境 from Hisao Soyama Pythonを書く前にやっておくべき開発環境の構築についてまとめた

はじめに こんにちは。システム開発部の中村です。 社内で行っている『データ解析のための統計モデリング入門』(所謂緑本)の輪読会に参加した所、 大変わかりやすい本だったものの、Macユーザには悲しい事に実装サンプルがWinBUGSだったため、 9章の一般化線形モデルのベイズ推定によるアプローチをPython + STANで実装しました。 概要 ざっくりと、以下のステップに沿って実装しました。 1. 特定のパラメータに基いて確率分布からダミーデータを生成 2. 予測モデルを設定 3. ダミーデータと予測モデルから、データを生成したパラメータ(の事後分布)をMCMCで推定して答え合わせ 具体的には、とある植物の体サイズが(3.0~7.0の0.1刻みの離散値をとる)を説明変数として、 ポアソン分布に従う種子数(0以上の整数)の確率分布を推定します。 利用ツール、ライブラリ MCMCサンプラー：　S

人物紹介：鐙谷 直貴（あぶみや なおき） 株式会社WACUL マーケティング部マネージャー。Googleアナリティクスと連携してアクセス解析を行う自社サービス「AIアナリスト」の認知度拡大からお問い合わせ対応まで、幅広く担当している。 この度、LIGブログにてアクセス解析・サイト分析を軸とした連載を担当させていただくことになりました。よろしくお願いいたします！ 連載1本目の本記事では、Googleアナリティクスの登録・設定方法を基本的なところから徹底解説します。 効果的なWebサイト運営をするためにも、まずはGoogleアナリティクスを導入から必要な設定まで、イチから学んでいきましょう！ ▼目次 ・Googleアナリティクスを登録するまでの手順 ・WordpressのサイトにGoogleアナリティクスを登録するなら ・正しく登録できているか確認する ・Googleアナリティクスと連携したい

こんにちは。 時間を見つけてRの勉強をしているディレクターのJackです。 今回は、Googleアナリティクスのデータを使って、R言語で遊んでみる内容です。 今まで学習した統計の基礎知識を実際にR言語を使って実践してみましょう。 前回のともぞう氏の記事では、Googleアナリティクスのデータをスプレッドシートのプラグインを活用し、データを取得するところまで説明しました。 今回は、実際に取得したデータを使って簡単な集計をしてみます。 利用するデータを準備する 利用するデータは、LIGブログのデータです。 サンプルデータとしてLIGブログのデータをCSVとしてアップしていますので、下記よりダウンロードしてご利用くださいませ。 対象は過去にディレクター陣が連載していたいいWebつくろう〜クライアントと制作会社〜の9月のデータです。 サンプルCSVをダウンロードする際には以下の利用規約をご確認いた

Excel 2007での箱ひげ図（はこひげず、箱髭図、ボックスプロット、box plot）の作成方法を紹介します。元ネタは、Box Plot for Excel 2007からとなります。 下記が完成した箱ひげ図（box plot）です。株価チャートを使って似たようなグラフを作成できますが、100万倍こちらの方がステキです。 箱ひげ図（はこひげず、箱髭図、ボックスプロット、box plot）とは 箱ひげ図（box plot）は、データの分布を可視化するのに優れたグラフです。特に幾つかのデータの分布を比較するのに長けており、分布がどのように異なっているかを視覚的に捉えるのに便利です。Wikipediaで下記のように説明されています。 箱ひげ図（はこひげず、箱髭図、box plot）とは、ばらつきのあるデータをわかりやすく表現するための統計学的グラフである。細長い箱と、その両側に出たひげで表現さ

ハンバーガーショップで学ぶ楽しい統計学をR言語でなんとかしてみる (分散と標準偏差) 2013.02.22 Prog Tech R言語, ハンバーガーショップで学ぶ統計学, 分散, 標準偏差 向後研究室が一般公開しているWeb教材 「ハンバーガーショップで学ぶ楽しい統計学」を利用してR言語を学んでいこうシリーズです。 詳しくは第1回目 ハンバーガーショップで学ぶ楽しい統計学をR言語でなんとかしてみる (平均)からご覧ください。 次回があると三日坊主だけはさけれそうです。 第3回目(分散) 第3回目は度数分布で表示したデータは数字的にどの程度ばらつきがあるのか分散の値を求めていきます。 Rを起動してポテトのデータのロードを忘れずに行ってください。 > waku <- scan("https://www.laddy.info/wp-content/uploads/2013/02/wakuwak

from requests_oauthlib import OAuth1Session from requests.exceptions import ConnectionError, ReadTimeout, SSLError import json, datetime, time, pytz, re, sys,traceback, pymongo #from pymongo import Connection # Connection classは廃止されたのでMongoClientに変更 from pymongo import MongoClient from collections import defaultdict import numpy as np KEYS = { # 自分のアカウントで入手したキーを下記に記載 'consumer_key':'**********', '