最小限のPythonコードでAutoMLを実現するローコード機械学習ライブラリ「PyCaret」：AutoML OSS入門（6）（1/4 ページ） AutoML OSSを紹介する本連載第6回は、ローコード機械学習ライブラリ「PyCaret」を解説します。さまざまな機械学習ライブラリのラッパーであるPyCaretは、データ分析のあらゆる工程でコードの行数を削減します。

Stanでトピックモデルを実装するメリット・デメリットについて簡単に触れたいと思います。 メリット 実装がラク。LDAでも30行ぐらい ややこしい推論部分は一切実装しなくてOK。全部Stanのサンプリングにお任せ モデルの拡張が簡単 デメリット 計算が遅い。文書x単語種類が1000x1500・総単語数12000のケースでは トピック数が20, iter=1000で9時間, iter=10000で35時間でした データが少ないと収束しない。特に単語種類が多いのに1文書あたりに含まれる単語数が少ない場合はダメ。僕の経験ではそのような場合はiteration増やしてもほとんどダメでした これらのデメリットはStan2.9.0でリリースされた変分ベイズ（ADVI）を使って推定することでいくらか緩和されます。速度はモデルにもよりますがおおよそ50倍速ぐらいです。ただし、現状は推定が少し不安定のようで

はじめに 2018年8月19日から23日にかけてロンドンで行われたKDD2018（データマイニングの世界的なカンファレンス）に採択されていた『Customized Regression Model for Airbnb Dynamic Pricing』なる論文を読みました。 Airbnbで実装されている価格推薦モデルについての論文で、 ビジネス・ユーザー視点を取り入れており、 「価格を下げれば予約されていた」と、「もっと価格を上げていてもよかった」というニーズ それをうまくモデル化していて、 上記を損失関数として定量化 さらにシンプルな構造で理解しやすい ①予約確率の予測→②最適価格の提案→③パーソナライズと、マクロ→ミクロに落ちていく構造 という点において優れたデータサイエンスの応用例であると感じたため、主要な論点を要約しつつ解説に取り組んでみようかと思います。 はじめに 論文の要旨 最

初めに prophet のモデルの説明 ハリボテの R言語 なぜベイズ推定する必要があるのか 結論 補足: バージョン 0.3 で追加された機能について 参考文献 初めに昨年, KFAS, bsts と, いくつか R の時系列モデリングパッケージを紹介記事を書いた. FaceBook によって開発されたという prophet パッケージも紹介したかったところだが, 日本語での説明は既に公開されている hoxo_m 氏のものが網羅的であり, 使い方の解説としてはこれ以上やることがほぼないと言っていい. Prophet入門【R編】Facebookの時系列予測ツール from hoxo_m Prophet入門【理論編】Facebookの時系列予測ツール from hoxo_m あとはあるとすれば紹介論文やヘルプの全訳くらいだが, そんな面倒 (かつ退屈) なことはしたくない. そこで, pro

mlrぽいす！ — 職業、イケメン。Nagi Teramo (@teramonagi) 2018年2月15日 ということだったので仏の教えに従ってチュートリアル(mlr tutorial)を読んでいる。mlrパッケージのチュートリアルは開発版に対応したものとCRANに上がっているものに対応したものの2種類あるが、どちらかというと開発版を参考にしている。翻訳っぽいけど原文を結構無視しているのでアレな部分があるかもしれません。 とりあえず予測して可視化するところまで。前処理とかチューニングは次回に。 次: Rの機械学習パッケージmlrのチュートリアル2（前処理からチューニングまで） - Qiita） 次の次:Rの機械学習パッケージmlrのチュートリアル3（ベンチマーク試験から可視化まで） - Qiita まとめたやつ: mlrパッケージチュートリアル - Quick Walkthrough編

導入 直近、これといって緊急の業務がなく、「自分の時間だ何勉強しようかなー」とPyStanとかをいじっていた矢先、「暇なら技術調査やってよ、Deep Learning的な何かとか」というお達しがきました。あいにく私は天邪鬼なので、２つ返事をして気になっていたけど触っていなかったProphetを調べることにしたのでした。 注：仕事はちゃんとしました（Seq2Seqの論文や書籍見て簡単な実装をしました）。 Prophet Facebookが出した時系列予測のツールです。 facebook.github.io すでに様々な方が紹介をしたり、Contributeしていたりするので、釈迦に説法感がありますが、このツールの良い点は、簡単に（分析の専門知識がなくても）ある程度それらしい予測値を出してくれるところです。ビジネス側でデータを活用したい場合や、分析者でもいったん簡単にデータから言えることを見て

概要 formula オブジェクトは変数変換や交互作用項など, 多彩な表現ができる. xgboost や glmnet では model.matrix() を併用することで formula を利用できる. 統計モデリング/機械学習で予測モデルを構築するとき, 予測性能の向上のため, しばしば変数を入れ替えたり, 変換したりといった推敲が必要となる. R ではこういうときに formula オブジェクトを使うと, いちいちデータフレームに変換後の数値を追加したり書き換えたりする必要がなくなる. glmnet や xgboost など, formula が直接使えないものでも model.matrix() 等を併用すれば可能である*1. formula オブジェクトを解説した記事を探すと, かなり前から存在する. 例えば以下の記事. m884.hateblo.jp なお, 上記はタイトルが「f

2. 自己紹介 1 / 392013/8/31 • Twitter ID: @horihorio • お仕事： 分析コンサルタント • 興味： 統計色々/DB/R/Finance/金融業/会計 • 過去の発表： ここ • 最近の出来事 • 金融業以外の分析にも進出 • だが何故か証券アナリストを取った • 優秀な人のマネジメントっぽい事を • 息子が1歳になった ロジスティック回帰の考え方・使い方 3. 今回の想定ケース 2 / 392013/8/31 ロジスティック回帰の考え方・使い方 • 旅行代理店勤務 マーケティング部所属3年目 • 「Rによるやさしい統計学」で Rの操作、線形回帰に慣れた • 上司（超文系）に 「いつもツアーの案内DM送っているけど、 もっと上手い送り方って考えてくれない？」 と言われた。どうしよう… 4. 紹介すること 3 / 392013/8/31 ロジスティッ

こんにちは、レバレジーズSEOチームです。 以前の記事「【SEO×自然言語処理】 SEOに使えるテキストマイニングの最新手法」に引き続き、 今回は、テキストマイニング手法として有名な確率的潜在的意味解析(probabilistic Latent Semantic Analysis：pLSA)を用いた分析をお伝えしたいと思います。 ・分析のモチベーション　2013年における検索アルゴリズムの大きな変更点の一つとしてHummingbirdアルゴリズムが挙げられます。Hummingbirdアルゴリズムは文脈・コンテンツの意図を判断することに特化したアルゴリズムとされています。(注1) 検索エンジンはあくまでも機械ですから、文章の理解をするとしてもテキストマイニングの手法に従う可能性はあると思われます。現に、SEOMOZのRand FishkinやSEO by the SeaのBill Slaws

2. Topic model Topic model 文書などのデータには、そこに現れる語に潜在的なトピック (話題) がある と考え、文書からトピックを推定するモデル トピックが分かると、類似する文書を分類 (クラスタリング) 可能に 個々の語ではなくトピックを単位として考えることで、類義語の集約が 可能に (eg. 「ネコ」と「猫」を同じ語とみなせる) 類義語を集約することで、処理精度が向上 (eg. 「ネコ」で検索したとき、「猫」を含むページを発見可能に) 類義語を集約することで、必要なメモリ・時間が少なく 2 / 35 3. 特異値分解 (SVD) Singular Value Decomposition(SVD) 任意の行列 A に対し r ∶= rank(A) としたとき、次の分解が可能 ∀ A ∈ M(m, n), ∃ U ∈ M(m, r), V ∈ M(r, n), 𝛴

Commandeur & Koopman「状態空間時系列分析入門」をRで再現する 仕事の都合で仕方なく状態空間モデルについて勉強していたのだけれど(なぜ私がこんな目に)、仕事で使うためには自分で計算できるようにならなければならない。 参考にしているCommandeur & Koopman 「状態空間時系列分析入門」（以下「CK本」）の著者らは、すべての事例についてデータとプログラムを公開している。ありがたいことであります。しかし、ssfpackという耳慣れないソフトを使わなければならない。わざわざ新しいソフトの使い方を覚えるのは大変に面倒だ。できれば普段使っているソフトで済ませたい。 というわけで、勉強かたがた、CK本に出てくる計算例を片っ端から R で再現してみた。汗と涙の甲斐あって、すべての章についていちおう再現できたので、ここに載せておくことにする。 もくじ: Rプログラム紹介 全体

【前回のコラム「理想的なリキッド＆リンクド・コンテンツ：「アナと雪の女王」ヒットを分析して（2）」はこちら】 皆さんはニュースキュレーションアプリをご存知だろうか。最近特に、ニュースやプレスリリースやテレビCMで目にする機会が多くなってきていると感じている。 キュレーションのサービスは実はかなり前から存在していた。2005年2月にサービスを開始した「はてなブックマーク」や2010年11月にサービスを開始している「NAVERまとめ」などはその代表例といえる。これらのサービスはユーザーが自分のお気に入りページをシェアしたり、あるトピックに関しての情報を集約するといった機能を有したプラットフォームで、利用者にとっては話題の記事やトピックに関して簡単に、まとめて情報を得られることが特徴である。 これらの先行キュレーションサービスも新たな時代に向けての体制刷新を進めているようだ。NAVERまとめを運

データ分析から導き出されたインサイト無しにAI（人工知能）の活用は始まりません。私たちは、各業界知識とデータ・アナリティクス技術を駆使しデータドリブン経営を強力に支援します。 データ、アナリティクス、AIは企業にとって競合他社との差別化を図るかつてないほど大きな要因になっています。今日の経営幹部が効率を向上しながら新たな収益源を開拓し、新しいビジネスモデルをタイムリーに構築する方法を模索する中、価値を生み出し成長を続ける企業には「データ活用」という共通項があります。私たちは、無数のデータから企業にとって本当に必要なデータを活用するための方法を知っています。 将来を見据えたオペレーション体制を備えている企業の半数以上（52％）は、すでにデータとアナリティクスを大規模に活用しています。データとAIに関する取り組みをビジネス戦略に沿って実施することで投資利益率を迅速に最大化し、最終的にはAIをビ

データ分析から導き出されたインサイト無しにAI（人工知能）の活用は始まりません。私たちは、各業界知識とデータ・アナリティクス技術を駆使しデータドリブン経営を強力に支援します。 データ、アナリティクス、AIは企業にとって競合他社との差別化を図るかつてないほど大きな要因になっています。今日の経営幹部が効率を向上しながら新たな収益源を開拓し、新しいビジネスモデルをタイムリーに構築する方法を模索する中、価値を生み出し成長を続ける企業には「データ活用」という共通項があります。私たちは、無数のデータから企業にとって本当に必要なデータを活用するための方法を知っています。 将来を見据えたオペレーション体制を備えている企業の半数以上（52％）は、すでにデータとアナリティクスを大規模に活用しています。データとAIに関する取り組みをビジネス戦略に沿って実施することで投資利益率を迅速に最大化し、最終的にはAIをビ