こんにちは。 データインテグレーション開発グループの長谷川です。 弊グループではぐるなびのビッグデータを使ったサービスの開発業務を行っており、データライブラリもその1つとなります。 データライブラリはPhase1リリースして1年以上が経過し、今回なぜPhase2として改修を行ったのかという理由や、改善箇所などを説明させていただきたいと思います。 また、最後に飲食店メニューにおける今年のトレンドについて、データライブラリのデータから簡単にご紹介させていただきます。 ぐるなびデータライブラリとは 機能概要 Phase2の開発理由 有効語辞書の採用 バッチ処理の開発 メニュー抽出処理 データ抽出処理 サーバサイドプログラム 処理概要 テーブル設計の工夫とGo言語によるAPI開発 プログラムとクエリの最適化 テンポラリテーブルの使用 テキスト連結から[]byteに変更する インデックスの見直し 急

『データの見えざる手』を読みました。 この本は、ウエアラブルセンサという人に装着するセンサを利用して、24時間人間の行動を記録したビッグデータから人間社会の新たな発見について書かれたものです。 今まで理系の本は、興味が湧かなかったので読んでこなかったのですが、この本は興味のない私でも楽しめました。経済や経営といった社会科学が科学的に明らかになっていき、今までの人間や社会の常識が覆されていくのが面白かったです。 今回は、この本を読んで驚いた、ビッグデータで明らかになった人間や社会の法則をいくつか紹介したいと思います。 Photo:big-data_conew1 By luckey_sun 人間の行動は決まっている 人が1日に行動できる回数は決まっていることが、ビッグデータによって明らかになりました。そのデータの要約は以下の通り。 人は、1日の中で約7万回の腕の動きをしており、人の行動の種類が

ところが、日立製作所中央研究所、主管研究長の矢野和男氏は、著書『データの見えざる手：ウエアラブルセンサが明かす人間・組織・社会の法則』（草思社、2014年7月発行）の中で、運との出会いを理論化・モデル化し、自身が開発したウエアラブルセンサで実際に運を定量的に測定するとともに、運を向上させる方法も考案している。 そして矢野氏は、運はコントロール可能であると結論し、「運も実力のうち」ではなく、「運こそ実力そのもの」であると言い切っている。 本稿では、この本に沿って、まず、矢野氏が行った運の理論化・モデル化とその定量測定について紹介する。次に、ビジネスにおいて運を良くするにはどうしたらよいか、組織のリーダーの運を向上させるにはどうしたらよいかについて、矢野氏の理論を示す。 その上で、エルピーダやルネサスが失敗した原因が、合弁したことによって運が悪くなったことにあることを、矢野氏の運の理論から導き

ハッカーズチャンプルー2014でお話してきた内容です。「データサイエンティスト（カナ）はオワコン」 http://hackers-champloo.org/program.html

QlikView 関連情報メモ Posted in データマイニング (RSS), 書籍 (RSS) 無料で利用可能なパーソナル版も提供されているBIツール 「QlikView」 の関連情報をメモ。φ(..) 関連情報 ・新たな設計思想の情報分析プラットフォーム「QlikView」とは？ - CNET Japan ・QlikViewとは？ | QlikView Training ・100ヵ国以上30,000社以上の導入実績、顧客満足度96％BIプラットフォーム「QlikView」クリックテック・ジャパン株式会社さまインタビュー | ビッグデータマガジン ・QlikViewで変わるマーケティング部門の仕事：分析の前に可視化せよ――連想技術で関連付けられたデータの詳細をドリルダウンで探索、予期しなかった問題を“発見” - ITmedia マーケティング ・BIツール４選～ユーザ視点のビッグデー

「2週間後に疫病発生が見込まれます。予防作業に着手してください」。業績好調なカルビーのロングセラー商品「ポテトチップス」の大敵は、原料のじゃがいも不足だ。北海道に約1100の契約農家があり、その畑に設置したセンサーから気温や湿度、降水量、日射量のデータを10分ごとに自動収集して分析。疫病リスクを徹底的に抑え込み、原材料調達の安定化に挑んでいる。「うすしお味」「コンソメパンチ」など様々な味が人気

米IBMがラスベガスで開催中のイベント「IBM Pulse 2014」。2日目のジェネラルセッションでは、SoftLayerクラウド上で、人工知能Watsonをベースにしたビッグデータ分析サービスなどを提供することが発表されました。 Watsonはクイズ番組で人間のチャンピオンと渡り合う能力を持つ人工知能として知られています。IBMは大量のデータを基に人間のように認知し判断するWatsonの技術を「コグニティブ・コンピューティング」（Cognitive Computing）と呼び、これを商用化する部門を今年1月に立ち上げたばかりです。 SoftLayerで提供される新サービスは、膨大なビッグデータに対する情報の分析や抽出を支援するための「Watson Discovery Advisor」「Watson Engagement Advisor」。さらにサードパーティがWatsonをベースにした

広野 彩子 日本経済新聞社NAR編集部次長 朝日新聞記者を経て日経ビジネス記者、2013年から日経ビジネス副編集長。日経ビジネスオンラインでコラムの執筆・編集を担当。入山章栄氏の著作『ビジネススクールでは学べない　世界最先端の経営学』を担当。 この著者の記事を見る

回転寿司最大手の「スシロー」がデータ分析で成果を上げている。店舗に「回転すし総合管理システム」を導入し、1分後と15分後に必要な握りネタと数を常に予測。店長の勘と経験にIT（情報技術）の力を加味し、食べたい握り寿司をタイムリーに提供する。システムの導入で、回転して時間が経った皿が減り、廃棄量は4分の1ほどになった。JR川崎駅にほど近い「スシロー」のミューザ川崎店（川崎市）。ここはスシローでもト

「ビッグデータ産業」の育成を目指して、政府のIT総合戦略本部が2015年1月の通常国会で個人情報保護法を改正する方針を固めた。実現すれば、データを匿名化し、個人が特定できる状態に戻さないことを約束することなどを条件に、本人の同意がなくてもパーソナルデータ（現行の個人情報保護法で定義された「個人情報」よりも広い「個人に結び付く情報」を言う）を第三者に提供できるようになる。 だが、最近の研究では、「匿名化できるビッグデータ」など、そもそも存在しないことが明らかになっている。たとえば、現在米FTCのチーフテクノロジストを務めるラタンヤ・スウィーニー氏のカーネギーメロン大学時代の研究によれば、年齢、性別、郵便番号の3情報だけで、米国在住の87％の個人を特定できる。また、米MITの研究者イヴス＝アレキサンダー・デモントジョイ氏とセザー・ヒダルゴ氏の研究によれば、匿名化された位置情報であっても、ある日

MobFoxの事例： 14日間で月間600億件のインプレッションを裁く 約200台のPHPアプリサーバを管理、PHPから排出されるログ管理システムを作っていたが、非常に運用が大変な状態に。 TDagentをデータセンターにインストール、2行書き換えるだけでTreasure Dataにアップするように対応可能。 溜まったデータを1時間毎にサマライズしてMySQLに送るように。それらを用いてダッシュボードに情報表示 データをアノニマイズして利用、重要な情報のみローカルで管理。 Vikiの事例： Korean Drama, Taiwanese Drama, Anime and Telenovelas free online with subtitles. - Viki Viki;最近楽天に買収された、オンラインビデオサービス。 データ解析用にHadppを持っていたが、どうやってデータを集めていい

「正直、なぜJR東日本がSuica履歴の件であそこまで批判を受けたのか、よく分からないんですよ」。今回の取材に応じたある企業の担当者は、困惑げに語った。「我々もパーソナルデータ（個人に関わる情報）を利活用しているが、いつかSuicaのように『炎上』してしまうのか…」。 JR東日本が、交通系ICカード「Suica」の乗降履歴を日立製作所に販売し、利用者やマスコミから大きな反発を受けたことが、ユーザー企業の間に波紋を広げている（図1、関連記事：JR東日本がSuicaデータの外部提供について説明、オプトアウト受付も開始）。JR東日本は、2013年9月初頭に設置した有識者会議の結論が出るまでは、販売を中止する考えだ。

Tumblrが、ソーシャルデータプラットフォームのDataSiftと提携した。消費者が広告主のウェブサイトについて何と言っているか、広告主に消費者のインサイトを提供するのが目的だ。 DataSiftは米国時間9月16日から、Tumblrのリアルタイムデータへのアクセスを開始する。また今回の提携には、Tumblrの過去データへのアクセスも含まれている。Tumblrのデータを収集することで、消費者が企業や組織のサイトについて何と言っているかが分かるとDataSiftは述べている。そのような消費者のインサイトを提供することで、広告主のソーシャルマーケティングキャンペーンを支援するのが目的だ。DataSiftはFacebookやTwitterとも同様の提携関係を結んでいる。 2013年に11億ドルでTumblrを買収した米Yahooにとって、これは重要な動きとなる可能性がある。その買収金額から、投

取引先とのメールで話題爆発（というか面白がり）していた。移動中なので、軽く触れる。先月の記事なんだね。箇条書きにするお。 靴屋とデータマイニングと季節外れの冬物衣料 http://d.hatena.ne.jp/AntiBayesian/20130423 前提：　内容をすべて否定するものではない。そういう見解も成立するし、ためにする議論ではない。 その１：　「データマイニングに必要なのは意外性だ！」 そもそも意外とか仮説の段階で言っているとしたら、それは使えないデータ担当者だ。クビにするべき。 その２：　これを利用して小売店や流通業界はデータマイニングをした。どんな意外性のある結果が出てきたと思う？例えばこんなものだった。「冬は鍋の検索回数が多い」 なんたる自明！ 小売や流通は常に売り場面積や仕入れ対販売という係数に支配されていて、いつまで鍋が検索されて需要があるかというようなロングテール的

「ビッグデータ分析でスマホの接続率を改善」孫社長が明かす、ソフトバンクのビッグデータ活用法。Oracle CloudWorld Tokyo 2013 日本オラクルとしては国内で始めてクラウドにフォーカスしたプライベートイベントとなったOracle CLoudWorld Tokyo 2013。オラクルCEO ラリー・エリソン氏の基調講演に続いて登壇したのは、ソフトバンク代表取締役社長 孫正義氏。 スクリーンの中からエリソン氏が孫氏を紹介すると、しばらくインターネット越しに英語で対話をする2人。 エリソン氏「ソフトバンクについていつも思っているのは、アグレッシブに新しい技術を取り入れていくことだ」 孫氏「ボーダフォンジャパンを買収したとき、なぜメインフレームをまだ使っているのかと聞いたら、信頼性や実績があるなどと言われた。しかしオラクルがあるじゃないかと、なぜ使わないかと」 その後、孫氏による

Digital twin tech is a double-edged swordDigital twins of real people can be both powerful and problematic, depending on how you use them.