IEEE Internet Computingの2017年5・6月号に "Two Decades of Recommender Systems at Amazon.com" という記事が掲載された。 2003年に同誌に掲載されたレポート "Amazon.com Recommendations: Item-to-Item Collaborative Filtering" が Test of Time、つまり『時代が証明したで賞』を受賞したことをうけての特別記事らしい 1。 「この商品を買った人はこんな商品も買っています」という推薦で有名なAmazonが1998年にその土台となるアルゴリズムの特許を出願してから20年、彼らが 推薦アルゴリズムをどのような視点で改良してきたのか 今、どのような未来を想像するのか その一端を知ることができる記事だった。 アイテムベース協調フィルタリング 20年前も

世界中で話題になっているパナマ文書。各国で政権を揺るがすような事態にもなっていますが、純粋にデータとしてみた場合、これは計算機やデータ解析に関わる人々にも面白いものだと思います。データの中身や背景などについてはさんざん報道されていますのでここでは触れません。一方、現場でどのような作業が行われているのかはあまり報道されていません。現実的な問題として、人力ではどうしようもない量のリークデータを手に入れた場合、調査報道機関はどんなことを行っているのでしょうか？私も以前から疑問に思っていたのですが、先日あるデータベース企業と、データ分析アプリケーションを作成する会社のブログにて、その実際の一端を窺うことができる投稿がありました: Panama Papers: How Linkurious enables ICIJ to investigate the massive Mossack Fonseca

Transcript 1. データマイニング・機械学習関連 の国際会議 神嶌 敏弘（産業技術総合研究所） http://www.kamishima.net/ グリッド協議会 第45回ワークショップ『国際会議における技術動向報告』 国立情報学研究所，2015.2.6 1 2. 目次 機械学習・データマイニング関連の国際会議の概要 機械学習，データマイニング，および人工知能などと，これらに関連 する分野を俯瞰した後，主な分野について大まかに紹介 近年のデータ分析技術 ここ10年にわたって機械学習・データマイニング分野の進展について の私なりの考え 2014年の国際会議報告 昨年度私が参加してきた KDD, ECMLPKDD, RecSys, NIPS につい ての報告 2 3. 機械学習・データマイニング関連 の国際会議の概要 3 4. ICML NIPS UAI BigData KDD SI

TOPICS Data Science , Database 発行年月日 2013年09月 PRINT LENGTH 310 ISBN 978-4-87311-640-2 原書 Bad Data Handbook FORMAT PDF 値の欠落、形式から外れたレコード、エンコーディング形式が不明な文字列。「バッドデータ」と聞いた時に思い浮べる典型例です。しかし、これら以外にも「そもそもデータにアクセスできない」「消えてしまった」「昨日と違っている」「データはあるが形式が処理に適していない」など、データを収集・分析するエンジニアは、これらの「バッドデータ」と正面から向きあわなければならないことが多々あります。本書では、これらの問題のあるデータのパターンを紹介し、その対処法を解説しています。 19人のデータ分析の専門家が、自らの経験を通して得た、さまざまな教訓、実践的な方法論等を詳述した本書は

得居です。3月下旬とは思えない寒さに凍えています。 Facebook が CVPR2014 に投稿しアクセプトされていた顔認証に関する論文 [1] が MIT Technology Review にて紹介されたことで注目を集めています。DeepFace と名付けられた手法で、同社が集めた4030人の顔写真440万枚を用いた大規模学習によってほぼ人間並の人物識別性能を達成しているということで、なかなかキャッチーな話題です。一方、Face++ という顔認証・分類のプラットフォームを展開する Megvii社 がつい先日公開したプレプリント [2] でも DeepFace と同程度の性能を達成しています。今日はこの2つの論文を解説します。 DeepFace の論文では、検出された顔矩形に対して以下の3つの処理を施しています。 矩形の2次元アラインメント 3次元モデルを用いた out-of-plan

Machine Learning Advent Calendar向けの記事です。 普段はGunosyという会社で社長業をしながら社長をしています。 ざっくりいうと 結論だけ知りたい人はここだけ 広告における機械学習の応用の多くはCTR予測や運用の最適化のため(クエリー予測とか)の予測問題 今後は「CVRの予測」や「アクティブなユーザーの予測」がホットな話題になる(加えてその運用をどう最適化するかといった話題も) 現在は検索エンジンの応用例が多い。今後はディスプレイ広告やタイムライン広告への応用が増えていく 個人のユーザー属性を集めることが今まで以上にメディアのビジネス的に重要になる 広告や推薦エンジンに限らずドメイン知識は非常に重要。ドメイン知識と機械学習の知識を持ったエンジニアが意思決定に携わる会社は今後大きくのびる(と思う) 広告について 最近はもっぱら広告の開発をしており、広告分野で

2013/10/19 "第30回 データマイニング+WEB ＠東京　( #TokyoWebmining 30th) −機械学習活用・マーケティング 祭り−"を開催しました。 第30回 データマイニング+WEB＠東京 ( #TokyoWebmining 30th) ー機械学習活用・マーケティング 祭り−: Eventbrite Google グループ 会場提供し運営を手伝って下さった ニフティ株式会社 のみなさん、どうもありがとうございました。素敵なトークを提供してくれた講師メンバーに感謝します。会場参加、USTREAM参加ともに多くの方々の参加を嬉しく思っています。 参加者ID・バックグラウンド一覧： 参加者Twitter List: Twitter List TokyoWebmining 30th 参加者セキココ：第30回 データマイニング+WEB ＠東京 セキココ (作成してくれた [

膨大なログの中から不審な通信を見つけ出したり、マルウェアの挙動を解析するならば専門家の長年の経験やカンに勝るものはない、という印象が強い。しかし、次々と亜種のマルウェアを生み出してくる攻撃者の「物量作戦」の前には、いくら優秀な専門家でも後手に回りがちだ。ならば「機械学習」を活用して異常を速やかに検出し、次の亜種を予想して、先回りして攻撃を防げないだろうか――そんなアプローチが始まろうとしている。 機械学習は、コンピュータの黎明（れいめい）期から研究が進んできた分野だ。コンピュータプログラムにデータを与え、その中に潜んでいる規則性を機械学習のアルゴリズムを使って抽出し、モデル化することで、あたかも人間と同じように判断を下せるようにする。かつては、膨大な計算量が必要なことがネックとなっていたが、近年のコンピューティング能力の向上に伴い、画像処理やユーザーの行動分析、それに基づくレコメンデーショ

2013/03/28 PFIセミナー「（道具としての）データサイエンティストのつかい方」資料 Ustreamの録画はこちらです→http://www.ustream.tv/recorded/37645309

僕の得意分野は計量時系列分析(Econometric time series analysis)なんですが、実際にソーシャルwebサービス企業でデータ分析に取り組む上ではそんなに細かいことやる必要はない、というかそこまで正確な分析をする前に実務上色々やるべきことがある、ということは結構多いです。 実際のところ、本当は異常値検出・外れ値検出みたいな手法でゴリゴリやりたい（例えばyokkunsさんが提供なさっているRの{ChangeAnomalyDetection}パッケージとか、はたまた{tsDyn}パッケージでも実装されているようなSETARとか、もしくは{MSwM}パッケージでやれるマルコフ状態転換モデルとか）んですが、Rを使ってもらうだけでも一苦労という現場ではそうも言ってられないという実態もあります。 ということで、もう何もかも面倒なのでお手軽に「KPIの上がり下がりを見て『これ凄く

SACSIS2013でのチュートリアル講演資料です。機械学習の導入：背景、手法、理論、応用）、実践：オンライン学習+線形分類で実際作ってみる、使う際の課題、発展：分散+リアルタイムでの機械学習（Jubatus）、深層学習（Deep Neural Net）についてまとめました

2013/05/18に#TokyoWebminingで話した資料です。 大人の都合でグラフの縦軸と横軸がありません。 基本的には横軸は時間（day）と、縦軸はUUです。

今日は社会人がデータ分析をどのように独学で身に着けていけばいいかということを考えます。 ビッグデータがバズワードとなって以来、花形の学問のひとつとなったのが「統計学」です。統計学が重要なのは今も昔も変わらないわけですが、かつてはデータの分析になんて興味がなかった会社や部門がデータ分析を業務に役立てようとした結果、需要が増しています。 さて、私は社会人になってから統計学の素晴らしさを体感して勉強を始めました。筑波大学のビジネススクール（GSSM）で椿広計先生という大家の講義を受けて開眼しました。そういう意味では実に幸運だったと思います。 スクールに通って統計学を身に着けるというのも一つの手なのでしょうが、万人がスクーリングできるわけではありません。独学で身に着けて行かないといけない人が大半ではないでしょうか。大丈夫です。独学でも統計学を使いこなせるようになります。「数学」なんて・・・。という

businessweek.com 2012.11.29の記事 更新：数字の桁がおかしかった 690万ドル　＝＞6.9億ドル。など via id:okemosさん 更新：I will be outspentの意味の取り違い 「支出が大杉」じゃなく「金遣いで負けてる」 これもvia id:okemosさん The Science Behind Those Obama Campaign E-Mails - Businessweek 大統領選でObama陣営はメールをa/bテスト使って最適化 オンライン経由の献金の大半をメールから獲得 件名別成績とか 大量に送りつけても実害ゼロだと分かったとか 親父から「スパムだろ」と文句言われたくらいだ、とか 「見た目最悪」なデザインが一番献金してもらえてショックだった 等々を、中の人への取材を元にまとめててわかりやすい 以下斜め読んだ内容 今回の大統領戦選挙の

印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます 今年の米大統領選挙でバラク・オバマ大統領の再選に大いに貢献したのは、オバマ陣営のIT部門だった。この「オバマのギークチーム」をめぐる話題は、なかでもビッグデータ活用について大きな反響があったようだ。 12月に入ってからも、TIMEやMIT Technology Reviewなどが、この話題に焦点をあてた記事を掲載している。とくにMIT Technology Reviewは、オバマ側だけでなくロムニー陣営の取り組みも取材。雑誌（のウェブ版）としては破格のボリュームで、両者のアプローチの違いなども描いた。 選挙資金集めも「クラウドソーシング」で オバマ大統領を今年の「The Person of The Year」に選んだTIMEでは、その話

前回のエントリーではどちらかというと技術的な区分で今回のエントリーではデータマイナーとして持っていると愛される（＝仕事を湯水の如くふられる）ために必要なソフトスキルについての経験的なメモ。 せっかくデータマイナーをやるなら、マネーボールのピーター・ブランド（サーバーメトリックスの人）見たいに愛されながら働きたいですよね、ということでそのために必要だと思ったこと： 1.数字をいくらでも見ていられるスキル 膨大なKPIの中からみるべき数字を見つけ出すとか、毎日決まった数字を何個も見続けられるスキル。毎日みているKPIから仮説を構築したり、考察を加えると重宝されます。毎日KPIをみると素早く異変に気づくことができるし、それがあまり得意ではない人も多いので、これをやってあげるとみんなに愛される（見るべきKPIが無限増殖する）人生がスタートします。 2.みんな気づかない数値の関係性が見つけられるスキ

bizcompass.jp