1年ほど前、uncorrelatedさんが就業者数のトレンドの転換点を回帰直線の尤度を基に推定されているのを見て、なるほど、そういう考え方もあるのか、と感心したことがある。ただ、例えば内閣府などは系列の転換点を判定するのにブライ・ボッシャン法*1を用いている。最近、Rにもブライ・ボッシャン法のパッケージがあることに気付いたので、試しに就業者数に同法を掛けてみた。 以下はそのコード。 employed <- read.csv("employed.csv",header=F) employed.ts<-ts(employed,start=c(2005,1),frequency=12) library(BCDating) dat <- BBQ(employed.ts) show(dat) summary(dat) plot(dat) plot(dat,employed.ts) 以下はその結果グラ

こんにちは、'16新卒入社で、Analyticsグループ所属の田中です。 仕事ではデータ分析基盤や機械学習システムの開発・運用を行っています。 今回はデータ分析基盤における「便利カラム」にまつわる問題と、それを解決するためのアーキテクチャについてご紹介します。 リブセンスのデータ分析基盤 みなさんの会社では、サービスのデータ分析をどのように行っていますか？ リブセンスにはデータ分析・活用の文化が根付いており、ディレクターや営業職の社員までもがSQLを用いてKPIのモニタリングや施策の評価を行っています。 分析活動を支えるために、社内では "Livesense Analytics" という全社横断のデータ分析基盤を構築・運用しています。 このような組織が形成されるまでのポイントについては次の資料で解説しています。 営業さんまで、社員全員がSQLを使う 「越境型組織」 ができるまでの3+1のポ

第60回Tokyo.RでのLT資料です。わくわく方程式。ちなみにわたくし、明日あいてます。MrUnadon。Read less

「フリースタイルダンジョン」 における最強のラッパーを， Massey の手法 に基づくレーティングによって検討してみます． 分析で使った Jupyter Notebook は ここ に公開しています． (↑ #13／フリースタイルダンジョン - YouTube より) フリースタイルダンジョン フリースタイルダンジョン とは，日本のラッパーがフリースタイルバトルを繰り広げる地上波の番組です． YouTubeに公式チャンネルがあって便利です． フリースタイルダンジョン｜テレビ朝日 フリースタイルダンジョン - YouTube 有志の方によって番組中で行われたバトルの結果一覧が作成されていたので， ここから勝敗データをスクレイピングして， 番組に出演したラッパーのレーティングを作ります． フリースタイルダンジョン バトルの結果一覧 : ヒップホップ辞典.com Massey の手法に基づくレ

GCPのML系機能を使いまくりたい・・という時にちょうど良い題材があったのでやってみました。GCPは機械学習を行う上で必要なデータ取得、preprocessing、学習と予測まで、フルマネージドな環境が揃っています。今回はその中で以下を使用しました。 ML Engine Dataflow BigQuery Natural Language API Datalab コードは全てDatalabで実行しました。開発環境を整える必要もなく、インタラクティブに結果を見られるのでGCPのML系を触るときは特におすすめです。 概要 色々発言が注目されるトランプ氏ですが、市場への影響はどれ位でしょうか？ツイートの後と通常(ランダムに時間帯を選択)でUSDJPYの価格変動がどう違うか比較します。 ランダムな日時 ツイート後 横軸は分、縦軸は変動(円)です。きちんと分散をみていませんが、ツイート後10分は荒れ

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

前処理にディープラーニングを使う 目的 スクレイパーなどで集めた画像には、ターゲットとする画像以外必要ないケースが度々ある データセットづくりと呼ばれる画像からノイズ画像を取り除くスクリーニングの作業の簡略化の必要性 画像のスクリーニングを機械学習でやってしまおうという試みです 前処理そのものにディープラーニングを投入する 画像処理において、学習したい画像かどうかをスクリーニングすることは膨大なコストがかかるので、この作業自体を自動化したい 今回はスクレイパーでいい加減にあつめたグラビア女優の画像7万枚超えを、手動でスクリーニングするのは極めて困難なので、VGG16を転移学習させてフィルタを作っていきます 一枚10円で500枚のペア（positiveとnegative）のデータセットを知り合いのニートに作ってもらう ニートの作成したデータセットをもとに、転移学習させてフィルタを構築 システ

お久しぶりです。 最近上司と「機械学習とかその辺の技術が発展したら、真っ先に自動化されて仕事なくなるのはハンパなエンジニアと中間管理職だよね〜」という話をして危機感を募らせている @takeshi0406 です。 WEBエンジニアにはご存じの方も多いと思いますが、転職ドラフトというWEBサービスがあります。 job-draft.jp このサービスは、次のような理念や問題感から始まった作られたものだそうです。素晴らしいです。 企業による公開競争入札。 これなら、自由競争でのリアルな相対価値がわかるようになる。 エンジニアだからこそ、より明確に。 誰が評価され、誰が評価されないのか。 自分の価値向上には、これから何をすべきなのか。 私も「友達を紹介してオライリー・ジャパンの本をGETしよう！」の文言につられて、友だちを3人紹介した上で登録したのですが、レジュメを丁寧に読んでダメ出ししてもらえ（

こんにちはシバタアキラです。いつも予測モデルの値踏みをして生きています。告知ですが、「カステラ本」として知られるデータサイエンスの教科書を読む会を月に2度行っています。興味のある方はこちらから登録してください！イベント登録ページ 機械学習モデルの評価の方法に、DataRobotでよく使われているリフトチャート（LiftChart）というものがあります。実は私もデータロボットで働くまで知らなかったモデル評価方法でした。実は知らないのは私だけではなく、ほとんどのユーザーの方はリフトチャートを知らない上、インターネット上を調べてもほとんど情報がありません。さらにはリフトチャートには複数の定義があり、DataRobotで使われているバージョンを定義する文献はほとんどありません(累積反応曲線と言われる別のものをリフトチャートと呼ぶことがある)。一方でリフトチャートは、そのシンプルさにかかわらず非常に